[python爬虫]爬取今日头条，例子：街拍将图片存到本地文件夹里

Black_God1

于 2018-08-16 23:44:20 发布

阅读量954

点赞数

分类专栏：计算机爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/Black_God1/article/details/81750794

版权

该博客介绍了如何使用Python爬虫技术，通过POST请求和翻页功能，从今日头条抓取街拍图片并将其存储到本地文件夹中。主要涉及requests、json、os和re等库的使用。

摘要由CSDN通过智能技术生成

import requests,json,os,time,re
from urllib import request
from piaot import *

提交post，翻页，因为是瀑布流

def post_pq(url):

headers = {
    "User-Agent": pa()
}
# 用post方法调用
a = requests.post(url, headers=headers)
# 返回
a1 = a.text

# 用json转码
a1 = json.loads(a1)

return a1

主循环

def pq(x=0):

for i in range(x):

    # 判断当x结束值等于当前i的值说明循环结束，所以强制结束
    if i == x:
        break

    # 处理每次网页的页数
    shu = i*20

    # 自定义网站
    url='http://www.toutiao.com/search_content/?offset='+str(shu)+'&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search_tab'

    # 调用定义的请求网站方法
    a1=post_pq(url)

    # 计数
    shu=0

    # 循环爬取想要的数据
    for j in range(20):

        xs = a1['data'][j]

        # 判断是否存储