豆瓣电影排行榜爬取

voyagerlll

于 2018-07-19 22:50:07 发布

阅读量932

点赞数

分类专栏：爬虫文章标签：豆瓣电影排行榜

本文链接：https://blog.csdn.net/qq_38765321/article/details/81124181

版权

爬虫专栏收录该内容

6 篇文章 0 订阅

订阅专栏

#请求页已经能够得到数据，但是自己整理下感觉会更好些
import requests, json

def main(page):
	url = 'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=' + str(page) + '&limit=20'
	headers = {
			'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
	}
	html = requests.get(url, headers=headers)
	print(html.status_code)
	html = html.json()  #html.json()的返回值类型是dict， 而html.text的返回值类型是str不便于索引
	print(type(html))
	for items in html:
		item = {
			'title': items['title'],
			'rank': items['rank'],
			'score': items['rating'],
			'actors': items['actors']
			}
		print(item)
		print('\n')

if __name__ == '__main__':
	for i in range(10):
		main(i*10)