爬虫-- 1.爬取指定的url地址的两种方法介绍（通过爬取小米商城实战案例来介绍）

urllib库中的request

具体实现步骤：
导⼊urlib库和re正则
使⽤urllib.request.Request()创建request请求对象
使⽤urllib.request.urlopen执⾏信息爬取,并返回Response对象
使⽤read()读取信息，使⽤decode()执⾏解码
使⽤re正则解析结果
遍历输出结果信息

from urllib import request
import re

#使用此方法，url和参数（product_id=10000214）是写在一起的，可以对比一下两种方法的url写法
#封装request请求
url = "https://www.mi.com/buy/detail?product_id=10000214"
req = request.Request(url)

#执⾏请求获取响应信息
res = request.urlopen(req)

# 从响应对象中读取信息并解码
html = res.read().decode("utf-8")

#使⽤正则解析出新闻标题信息
pat = '<title>(.*?)</title>'
dlist = re.findall(pat,html)
# 输出结果：
print(dlist)
# 也可以直接输出结果
#print(re.findall("<title>(.*?)</title>",html))  # ['小米10立即购买-小米商城']

'''
# 如果想要输出其他结果，比如标题和链接，可以参考下面遍历输出结果
for v in dlist:
 print(v[1]+":"+v[0])
''' 

requests ： 这种方法是常用方法

import re
import requests

url="https://www.mi.com/buy/detail"
data = {'product_id':10000214}

# 抓取信息
res = requests.get(url,params=data)

print(res.text) #获取文本内容
print(res.status_code) #获取HTTP状态码

# 获取响应内容（这一步与上面方法有所不同）
html = res.content.decode('utf-8')

#解析出结果
print(re.findall('<title>(.*?)</title>',html))

requests的响应对象：requests.models.Response
response.text 获取str类型（Unicode编码）的响应
response.content 获取bytes类型的响应
response.content.decode("utf-8") 将获取的bytes类型进⾏解码（转字串）
response.status_code 获取响应状态码
response.headers 获取响应头
response.request 获取响应对应的请求

# 各种请求⽅式：常⽤的就是requests.get()和requests.post()
import requests
res = requests.get('https://api.github.com/events')
res = requests.post('http://httpbin.org/post', data = {'key':'value'})
res = requests.put('http://httpbin.org/put', data = {'key':'value'})
res = requests.delete('http://httpbin.org/delete')
res = requests.head('http://httpbin.org/get')
res = requests.options('http://httpbin.org/get')