hua_you_qiang的博客

前期准备运行环境：jupyter notebook 或者 pycharmpython版本：python3.x浏览器：chrome需要用到的库：requestsbs4osenchantjsontime可能需要安装的库pip install requests -i https://pypi.tsinghua.edu.cn/simplepip install Beautifulsoup4 -i https://pypi.tsinghua.edu.cn/simplepip insta

网址：中国保护知识产权网本次爬取的是国际新闻部分需要爬取的是文章标题，对应的url、日期和内容打开开发者模式(Ctrl+Shift+i),找到Network 下的XHR，按（Ctrl+R）进行刷新。分析Headers可以发现请求方式是POST，表单数据由pageNumber和cid组成我们换第二页看看什么数据会发生变化对比第一页我们可以发现url没有发生变化，发生变化的只有pageNumber，所以可以通过修改pageNumber来实现批量爬取。接下来看看这XHR里有什么内容，点击P

import requestsimport osimport jsonfrom bs4 import BeautifulSoupheaders = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-...