进入百家号页面按f12,点击 文章 分类,浏览器自动会抓 到 他百家号的json 的包,
如下图network项目下找到类似webspage?tab=article&number=10….
复制General-Request URL的结果到地址栏,然后就会出来每篇文章的 id,类似于
https://baijiahao.baidu.com/s?id=169********151"
直接放进火车头里面,就可以采集出来他的标题和内容了,内容页直接采集就可以了,没有任何禁止。可以用Xpath规则。
来源:GG资源网