[python爬虫]头条中国图片采集（json,保存图片至本地）

有洁癖的懒羊羊

已于 2022-06-11 13:06:02 修改

阅读量601

点赞数

分类专栏：爬虫文章标签： json python 开发语言

于 2022-06-10 17:05:52 首次发布

本文链接：https://blog.csdn.net/liyunyang2000/article/details/125224886

版权

爬虫 Toutiao json解析图片下载 HTTP请求

关键词由CSDN通过智能技术生成

爬虫专栏收录该内容

18 篇文章 1 订阅

订阅专栏

引用包

import requests
import json
import os

获取网页源码

#获取网页源代码
def login(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1',
        'Cookie': ''
    }
    params = {
        'aid': '24',
        'app_name': 'web_search',
        'offset': '0',
        'format': 'json',
        'keyword': '中国',
        'autoload': 'true',
        'count':'20',
        'en_qc': '1',
        'cur_tab': '1',
        'from': 'search_tab',
        'pd': 'synthesis',
        'timestamp': '1591782225749'
    }
    try:
        r = s.post(url, headers=headers,params=params,timeout=10)
        r.raise_for_status()
        r.encoding = 'utf-8'
        result = json.loads(r.text)
        return result
    except Exception as e:
        print(e)
        return ""

将json中的每个图集的url找出来

# 将json中的每个图集的url找出来。
def get_data(dic):
    img_list=[]
    data=dic['data']
    for i in range(len(data)):
        #print(item)
        item=data[i]
        if 'avatar_url' in item:
            avater_url=item['avatar_url']
            img_list.append(avater_url)
        if 'image_list' in item:
            for img in item['image_list']:
                url=img['url']
                img_list.append(url)
        if 'image_url' in item:
            image_url = item['image_url']
            img_list.append(image_url)
        if 'large_image_url' in item:
            large_image_url=item['large_image_url']
            img_list.append(large_image_url)
    print(img_list)
    return img_list

保存图片到本地

#保存图片到本地
def search_img(data):
    for i in range(len(data)):
        url=data[i]+'.jpg'
        print(url)
        root ="..//pics/"
        path=root+url.split('/')[-1]
        if not os.path.exists(root):
            os.mkdir(root)
        if not os.path.exists(path):
            r=requests.get(url)
            with open(path,'wb') as f:
                f.write(r.content)
                f.close()
                print("文件保存成功")
        else:
            print("文件已存在")

总函数

if __name__ == '__main__':
    # 登录地址
    login_url = 'https://www.toutiao.com/api/search/content/?'
    # 创建会话对象
    s = requests.session()
    dic_data = login(login_url)
    data=get_data(dic_data)
    search_img(data)