urlopen 和get 的区别

爬虫里面,我们不可避免的要用urllib中的urlopen()和requests.get()方法去请求或获取一个网页的内容
这里面的区别在于urlopen打开URL网址,
url参数可以是一个字符串url或者是一个Request对象,
返回的是http.client.HTTPResponse对象.
http.client.HTTPResponse对象大概包括read()、readinto()、getheader()、getheaders()、fileno()、msg、version、status、reason、debuglevel和closed函数,
其实一般而言使用read()函数后还需要decode()函数,返回的网页内容实际上是没有被解码或的,
在read()得到内容后通过指定decode()函数参数,
可以使用对应的解码方式。

requests.get()方法请求了站点的网址,然后打印出了返回结果的类型,状态码,编码方式,Cookies等内容

我在刚学到他们的时候也很懵逼,自己慢慢的琢磨,然后用个笨办法写了个这个来做区别

使用方法和他们区别的代码如下:

from   lxml  import  etree  
import  requests
from  urllib  import   request
url="http://www.baidu.com/"
req=request.Request(url)
response1=request.urlopen(req) 
html1=etree.HTML(response1.read())
print("这个是response1: ",response1)#打印出response1是什么鬼 
print("这个是type(response1: ",type(response1))#打印出response1的类型print("这个是type(html1): ",type(html1))#打印html1的类型
print("这个是html1: ",html1)#打印出response1的用etree解析为html网页元素#打印网页的文本信息,由于这个response1只能调用一次所以这里会打印出空print(response1.read().decode())#打印出网页源码的文本信息print('*'*70)
response2=requests.get(url)html2=etree.HTML(response2.text)
print("这个是response2: ",response2)#打印出response2的内容 
print("这个是type(response2): ",type(response2))#打印出response2的类型print("这个是type(response2.text): ",type(response2.text))#打印出response2用text输出是的类型print(type(response2.content.decode()))#打印出内容解码的类型

print("这个是type(html2): ",type(html2))#打印出response2用etree解析为网页元素信息的html2的类型
print("这个是html2 :",html2)#打印出response2用etree解析为网页元素信息的html2#打印网页的文本信息,用resquests有三种方法可以打印出网页的信息,这三种方法打印出来的都一样的
response2.encoding='utf-8'#给网页指定编码信息,是为了用text输出网页文本信息的
print(response2.text)#打印出网页的文本信息
print(response2.content.decode())#打印出网页源码的文本信息,这样写是为了避免出现中文乱码print(str(response2.content,"utf-8"))#打印出网页源码的文本信息,这样写是为了避免出现中文乱码

结果如下:

requests对象的get和post方法都会返回一个Response对象，
这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。
其中返回的网页部分会存在.content和.text两个对象中。
两者区别在于，content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。
直接输出content，会发现前面存在b’这样的标志，这是字节字符串的标志，而text是’，没有前面的b,对于纯ascii码，这两个可以说一模一样，对于其他的文字，需要正确编码才能正常显示。
大部分情况建议使用.text，因为显示的是汉字，但有时会显示乱码，这时需要用.content.decode(‘utf-8’)，中文常用utf-8和GBK，GB2312等。
这样可以手工选择文字编码方式。
.text是现成的字符串，.content还要编码，但是.text不是所有时候显示都正常，这是就需要用.content进行手动编码

简而言之:

text返回的是Unicode型的数据

content返回的是是二进制的数据。

也就是说，如果你想取文本，可以通过r.text。

如果想取图片，文件，则可以通过r.content

再附上一张requests的图:

作者：java菜
链接：https://www.jianshu.com/p/d7ca8f0a2641
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。