爬取豆瓣的json数据

最新推荐文章于 2024-01-10 12:00:00 发布

洋葱小万666

最新推荐文章于 2024-01-10 12:00:00 发布

阅读量299

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_40844663/article/details/112492056

版权

python 专栏收录该内容

29 篇文章 0 订阅

订阅专栏

#  
# made by 杨庆华
import urllib.request
import urllib.parse
import os
import time
fileName = "豆瓣"
#创建文件夹，如果不存在就创建
if not os.path.isdir(fileName):
	os.mkdir(fileName)


url = 'https://movie.douban.com/j/chart/top_list?type=13&interval_id=100%3A90&action='
number = 20
headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}

startPage = int(input("请输入起始页码"))
endPage = int(input("请输入结束页码"))
for page in range(startPage,endPage+1):
	form_data = {
		'start': (page - 1) * number,
		'limit': number,
	}
	postUrl = urllib.parse.urlencode(form_data).encode()
	request = urllib.request.Request(url=url,headers=headers)
	response = urllib.request.urlopen(request,postUrl)
	# print(response.read().decode())
	# 开始写入文件
	filePath = fileName+'/'+str(page)+'.html'
	with open(filePath,'wb') as fp:
		fp.write(response.read())
		print("第{0}页已经下载完毕.......".format(page))
		time.sleep(2)