![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python-reptile
txmmy
这个作者很懒,什么都没留下…
展开
-
Wad和cchardet
import wad.detection import cchardet import requests url='https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word=%E7%99%BE%E5%8F%98%E5%B0%8F%E6%A8%B1' #查看网站所用的技术 det=wad.detection.Dete原创 2021-04-17 17:15:00 · 431 阅读 · 0 评论 -
关于robots.txt的实例
robot.txt:降低爬虫程序被网站的反爬虫机制封禁的风险 参考书:python网络爬虫实战 吕云翔 张扬 ```RobotParser.py import urllib.robotparser as urobot import requests import urllib #方法一: url="https://www.taobao.com/" rp=urobot.RobotFileParser() rp.set_url(url+"/robots.txt") rp.read() user_agent='G原创 2021-04-17 16:29:13 · 318 阅读 · 1 评论