爬虫
kamisamak
这个作者很懒,什么都没留下…
展开
-
Python构建随机请求头headers
我的个人博客:https://www.blog.kamisamak.com/ layout: post title: Python构建随机请求头headers date: 2020-06-19 tags: [“Python”,“爬虫”] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-n2wZsw9S-1599705264908)(timg.jpg)] 通过User-Agent构建请求头headers能够将爬虫伪装,但是有的网站会去检查请求头,所以在每次提交网站请求时可以使用原创 2020-09-10 10:34:54 · 7235 阅读 · 0 评论 -
通过python爬虫爬取豆瓣图书Top250
我的个人博客:https://www.blog.kamisamak.com/ robot信息查询 from urllib.robotparser import RobotFileParser UrlRobots = 'https://book.douban.com/robots.txt' def GetRobotsTxt(url) : rp = RobotFileParser() rp.set_url(url) rp.read() print(rp.can_fetch('原创 2020-06-23 09:22:38 · 6464 阅读 · 0 评论