今日头条热点爬文章---python

观察网页结构：

注意：今日头条热点的文章列表在data中（json格式），这时你就会想：“我直接解析出来不就好了”，经过小编的多次实践发现，这部分内容是不能直接爬下来的。这里小编就直接说答案了。这里面的内容接口是这里（左边有背景的网址），但是你通过这个网址也不能直接爬下来右边的数据。也就是说他做了一点反爬的措施。那要怎么办呢？小编通过无数次尝试终于想出来了一个办法。就是在请求网页的时候加上他的request headers（小编用的python reruest.get()），url就是左边的网址。这样右边的数据就能爬下来了。接下来就是解析数据的部分了。很简单，转成json数组，通过key-value得到文章的group_id.不多说了，直接放代码。

这里就直接把整个代码放上来了，其中最多的就是解析数据

# coding=UTF-8
import requests
import json
import re


from bs4 import BeautifulSoup


#文章列表
de