LiD___H__的博客

原创 今日头条热点爬文章---python

观察网页结构： 注意：今日头条热点的文章列表在data中（json格式），这时你就会想：“我直接解析出来不就好了”，经过小编的多次实践发现，这部分内容是不能直接爬下来的。这里小编就直接说答案了。这里面的内容接口是这里（左边有背景的网址），但是你通过这个网址也不能直接爬下来右边的数据。也就是说他做了一点反爬的措施。那要怎么办呢？小编通过无数次尝试终于想出来了一个办法。就是在请求网页的时候加上他的re