02-18 36kr文章爬取-1

最新推荐文章于 2024-04-23 14:08:57 发布

withxinxin

最新推荐文章于 2024-04-23 14:08:57 发布

阅读量500

点赞数

本文链接：https://blog.csdn.net/weixin_46400833/article/details/113840764

版权

本文介绍了如何使用Python进行36kr网站的文章爬取，涵盖了网络请求、页面解析等关键技术，旨在分享数据抓取的实践过程。

摘要由CSDN通过智能技术生成

问题：

1、动态加载的url通用模板如何设置？

2、如何控制文章发布时间在一年内？

3、如何实现分类保存？

初步代码如下：

import requests
from lxml import etree
import time
import json

url='https://gateway.36kr.com/api/mis/nav/ifm/subNav/flow'
headers={
   
    'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36',
    'content-type':'application/json',
}
Payload={
   
    "partner_id":"web",
    "timestamp":'1613571931284',