python爬取豆瓣电影json数据

由于豆瓣里的电影都有专属的id，获取到id后可以进一步爬取其他页面的内容。
首先来到主界面(https://movie.douban.com)观察网页:
点击“选电影”进入需要爬取的界面：

打开Chrome开发模式，并下拉网页观察新生成的文件

可以观察到页面没有跳转，说明该网页采用了异步加载技术，同时生成的主文件为以search_subjects开头的文件

文件页面的url：

通过点击Response选项观察到页面中内容的数据格式为json格式：

因此直接访问主内容所在网页（https://movie.douban.com/j/search_subjects?type=movie&tag=华语&sort=recommend&page_limit=20&page_start=0）
可以观察到如下内容：

通过更改url中的数字page_start=(以20为单位)跳转到下一页

可以看到这里有很多内容，我选择爬取的是其中的电影名、id号及电影评分。同时观察到主url是有变化的，根据电影类别发生变化，因此我选择分四次爬取内容，分别为：华语、欧美、韩国、日本，这样获取的电影内容就没有重复了。

好了，接下来直接上代码。

import json
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}
def get_url(url):
	res=requests.get(url,headers=headers)
	json_data=json.loads(res.text)
	films=json_data.get('subjects')
	for film in films:
			try:
				f.write(film['id']+'\t'+film['rate']+'\t'+film['title']+'\n')
			except:
				f.write('@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@'+'\n')
				print(film['id'])
				pass

if __name__=='__main__':
	urls=['https://movie.douban.com/j/search_subjects?type=movie&tag=%E6%97%A5%E6%9C%AC&sort=recommend&page_limit=20&page_start={}'.format(str(i)) for i in range(0,220,20)]#在这里我爬取的是日语的电影
	f=open('douban.txt','a+')
	for url in urls:
		get_url(url)
	f.close()

在爬取日本电影内容时程序报错而中断，因此加入了try语句使程序继续进行的同时显示出错误的url。最后发现27171119这个电影id在爬取时出现了错误，打开https://movie.douban.com/subject/27171119/网页看到电影名竟然是：

好吧，这样的电影名里面的字符在写入txt文档时会产生编码错误，可以手工输入将其重新添加。
最后得到的内容为：

好了，就到这里了，有空我会写下一步利用id爬取的内容。