Python中的urllib，urllib三种不同的请求方式

1、urllib获取服务器的资源

自定义爬虫的重要组件

获取百度首页的资源：

#3.x的标准写法
import urllib.request
import urllib.parse

#百度的首页
from bs4 import BeautifulSoup

url = "http://www.baidu.com/"
#发起一个request请求,得到返回对象
res = urllib.request.urlopen(url)
#查看http访问状态
if res.status == 200:
    print("访问成功")
    #获取数据
    data = res.read().decode("utf-8")
    print(data)
    soup = BeautifulSoup(data)
    print(soup.title.string)

 

2.urllib.request回顾

urllib.request提供三种不同的请求方式：

第一种是get请求
    方式一：urllib.request.urlopen(url)
    方式二：先创建一个urllib.request.Request对象，然后将对象放入urlopen中。urllib.request.urlopen(Request对象)
第二种是POST:携带数据过去
    比如：登录用户名，密码
    先创建一个urllib.request.Request
    将请求数据放到Request对象中urllib.request.Request(url,data)
    注意：在此之前先将data进行转化：
       data = urllib.parse.urlencode(values)
第三种是：添加请求头

#get 请求
import urllib.request

#get 请求方式1
url = "http://www.baidu.com"
resp = urllib.request.urlopen(url)
if resp.status ==200:
    data = resp.read().decode("utf-8")
    #print(data)

#get请求方式2
url = "http://www.baidu.com"
req = urllib.request.Request(url)
resp = urllib.request.urlopen(req)
if resp.status ==200:
    data = resp.read().decode("utf-8")
    #print(data)

#post请求
data = {"name":"张三","age":"17"}
url = "http://www.baidu.com"
z_data = urllib.parse.urlencode(data)
req = urllib.request.Request(url,z_data.encode('utf-8'))
resp = urllib.request.urlopen(req)
if resp.status ==200:
    data = resp.read().decode("utf-8")
    #print(data)


#header
import urllib.parse
import urllib.request

url = "http://www.baidu.com"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python'}
headers = {'User-Agent':user_agent}

data = urllib.parse.urlencode(values)
req = urllib.request.Request(url, data.encode("utf-8"), headers)
response = urllib.request.urlopen(req)
the_page = response.read().decode("utf-8")
print(the_page)