![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
kamisamak
这个作者很懒,什么都没留下…
展开
-
Python构建随机请求头headers
我的个人博客:https://www.blog.kamisamak.com/layout: posttitle: Python构建随机请求头headersdate: 2020-06-19tags: [“Python”,“爬虫”][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-n2wZsw9S-1599705264908)(timg.jpg)]通过User-Agent构建请求头headers能够将爬虫伪装,但是有的网站会去检查请求头,所以在每次提交网站请求时可以使用原创 2020-09-10 10:34:54 · 7179 阅读 · 0 评论 -
通过python爬虫爬取豆瓣图书Top250
我的个人博客:https://www.blog.kamisamak.com/robot信息查询from urllib.robotparser import RobotFileParserUrlRobots = 'https://book.douban.com/robots.txt'def GetRobotsTxt(url) : rp = RobotFileParser() rp.set_url(url) rp.read() print(rp.can_fetch('原创 2020-06-23 09:22:38 · 6442 阅读 · 0 评论