坐公交也用券

快速生成请求头

导言爬虫作为一个敏感技术，千万要把握好，如果人家不让爬那就不要头铁去试了如何确定某个网站是否允许爬虫在域名后面加上/robots.txt查看即可，例如：https://blog.csdn.net/robots.txt不能爬取的网站目录：/images//content//ui //js/包含❓的URL地址其他地址可以爬取且允许任意方式爬取所以只是爬取文章的话问题不大无图无真相，先上图爬取的文章：Linux通过chrony进行时间同步h效果图:源码impo