![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
Jack.hui
大数据工程师
展开
-
urllib.request.Request理解Request
import urllib.request #可以将url先构造成一个Request对象,传进urlopen #Request存在的意义是便于在请求的时候传入一些信息,而urlopen则不 request = urllib.request.Request('http: response = urllib.request.urlopen(reque print(response.read().de...转载 2018-05-18 18:07:11 · 1011 阅读 · 0 评论 -
python标准库urllib.parse.urlencode的应用
python标准库urllib.parse.urlencode的应用1、urllib标准库一共包含以下子包:urllib.error 由urllib.request引发的异常类urllib.parse URL解析组件urllib.request 用于打开网址的可扩展库。urllib.response urllib使用的响应类。urllib.robotparser 加载...转载 2018-05-18 00:51:52 · 16911 阅读 · 1 评论 -
python 爬图和搞翻译
urllib(package)---URL + lib URL三部分 1.协议;http,https,ftp,file,ed2k... 2.存放资源的服务器域名系统或IP地址(有时候要包含端口号,各个传输协议都有默认的端口号,如http的默认端口号为80) 3.资源的具体地址,如目录或者文件名等''' '''import urllib.request response=urllib.request...原创 2018-05-16 23:19:33 · 602 阅读 · 0 评论 -
python 代理ip
import urllib.request import random url = 'http://www.whatismyip.com' iplist = ['61.135.217.7:80','114.249.63.193:8118','114.236.44.33:61234','111.183.228.246:61234','121.232.146.65:8118'] #多搞几个ip 换着...原创 2018-05-18 20:38:04 · 476 阅读 · 0 评论