爬虫
幺猫折耳鹿
这个作者很懒,什么都没留下…
展开
-
代理IP
原理 以本机先访问代理IP,再通过代理IP地址访问互联网,这样,服务器接收到的访问IP就是代理IP地址。 方法 urllib.request.ProxyHandler()方法可动态代理,代理IP主要以字典格式写入方法。 将设置好的代理IP写入urllib.request.build_opener()方法,生成对象opener,然后通过opener的open()方法向服务器发送请求。 import ...原创 2019-11-07 15:27:50 · 881 阅读 · 0 评论 -
Urllib数据抓取
urllib简介 Python 3中,Urllib是一个收集几个模块来使用URL的软件包,具备以下几个功能: urllib.request:用于打开和读取URL urllib.error: 包含提出的例外urllib.request urllib.parse:解析URL urllib.rebotparser:解析robots.txt文件 发送请求 urllib.request.urlopen...原创 2019-11-06 22:29:49 · 151 阅读 · 0 评论