爬取ajax加载的豆瓣电影

（一）前提：找到ajax异步加载的包接口，注意第一个电影名

 我们把Request URL网址复制到地址栏得到：

上图是json格式数据，且第一个电影一致，说明我们找到了正确的ajax的json接口

出现加载更多之前是20部电影，点击加载更多，我们会得到第二个json包，里面是另外20个电影。

 

（二）爬取豆瓣中美剧分类的电影200个第一种方式（最后优化）：

多加载几个json接口，找url规律

对json接口找规律，for循环拿到各json数据的url接口进行访问，把需要内容存入txt

import requests

# url2 = "https://movie.douban.com/j/new_search_subjects?sort