python 大数据的数据来源数据爬取利器,下面介绍的就是python爬取搜狗的图片
我们先分析一下怎么去操作和流程及方式
本文免费直播课程分享链接:https://ke.qq.com/course/397896?flowToken=1009460
有需要学习提升的宝宝可以进去免费报名一下
import requests
import json
import urllib
# 三个参数,你要获取整个图片集的名字,你要获取多少张,获取过来的放在哪里
def getSogoulmag(category,length,path):
n=length
cate=category
# 获取的是图片所有信息
imgs=requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+
'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
# 转换成为json格式
jd=json.loads(imgs.text)
# all_items所有的图片
jd=jd['all_items']
imgs_t=[]
for j in jd:
# 通过定位bthumbUrl获取图片
imgs_t.append(j['bthumbUrl'])
m=0
for img in imgs_t:
# 打印某一张图片正在下载
print(s