爬虫-分析Ajax

网站：今日头条-搜索
目标：分析Ajax请求得来的数据
预备知识：XHR为向服务器发送请求和解析服务器响应提供了流畅的接口，能够以异步方式从服务器取得数据。

---

流程框架：

1：抓取索引页内容：
请求目标，通过Request，分析HTML代码，返回结果
2：抓取详情页内容
分析JSON，URL，得到详情页链接
3：下载数据
4：开启循环，多线程

---

索引页：

1：获取索引页，找到header中get请求的参数（发现json格式的数据）
2：使用urlencode为数组解析成get参数，接着使用requests请求，同时判断状态是否可以访问，可以的话返回response.text
3：从返回的response.text中，我们要解析出json数据中data中的article_rul。引入json库，编写parse_page_index函数（json.loads()—将json数据解析成python字典，data.keys()—获取所有的键）

详情页：

1：解析出来article_url后，进入详情页。
2：将get_page_detail中返回的值，还有参数url作为参数传入parse_page_detail()中，使用re.compile()制作匹配规则
下载：
1：response.content
2：使用’{}’.format构造好存储地址
3：os.getcwd()获取当前文件地址，md5函数使得相同的内容散列成相同的值。

主函数：

def main(offset):
    print('获取索引页 (%d)' % offset)
    html = get_page_index(offset, KEYWORD)
    for url in parse_page_index(html):
        html = get_page_detail( url)
        if html:
            result = parse_page_detail(html, url)
            if result: save_to_mongo( result)
    pass

使用进程池

1：from multiprocessing import Pool
2：pool.map(main,groups