观察网页结构:
注意:今日头条热点的文章列表在data中(json格式),这时你就会想:“我直接解析出来不就好了”,经过小编的多次实践发现,这部分内容是不能直接爬下来的。这里小编就直接说答案了。这里面的内容接口是这里(左边有背景的网址),但是你通过这个网址也不能直接爬下来右边的数据。也就是说他做了一点反爬的措施。那要怎么办呢?小编通过无数次尝试终于想出来了一个办法。就是在请求网页的时候加上他的request headers(小编用的python reruest.get()),url就是左边的网址。这样右边的数据就能爬下来了。接下来就是解析数据的部分了。很简单,转成json数组,通过key-value得到文章的group_id.不多说了,直接放代码。
这里就直接把整个代码放上来了,其中最多的就是解析数据
# coding=UTF-8
import requests
import json
import re
from bs4 import