1 - 第一个爬虫程序

robots协议:网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，通用网络爬虫需要遵守robots协议(君子协议)
https://www.taobao.com/robots.txt

一. urlopen(url, 超时时间)

作用: 向网站发起请求,并获取响应内容

1. 第一个爬虫程序

'''向百度发送请求,得到响应内容'''
# from urllib import request

import urllib.request

# urlopen() :向url发请求,返回响应对象
# 地址后的 / ,必须写
# res为对象
res = urllib.request.urlopen('http://www.baidu.com/')

# 提取响应内容
# 1. html为字符串(特别长)
tes = res.read() # bytes类型
html = res.read().decode()  # string
url = res.geturl()  # 返回实际数据的url地址
code = res.getcode()  # 返回http响应码

# 打印响应内容
print(html)

2. 重构User-Agent

问题: 使用python爬虫的User-Agent会显示python信息,这样是不行的

我们需要重构User-Agent,发请求时带着User-Agent过去,但是 urlopen()方法不支持重构User-Agent

二. Request( url, 请求头)

请求头: 爬虫和反爬斗争的第一步

作用: 创建请求对象(包装请求，重构User-Agent，使程序更像正常人类请求)

User-Agent: 百度搜索(常见User-Agent大全,搜索真实的User-Agent)

1. 包装请求头 

from urllib import request

# 定义常用变量
url = "http://httpbin.org/get"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}

# 1. 创建请求对象(重构User-Agent) -并未真正发送请求
req = request.Request(url=url, headers=headers)
# 2.urlopen() :发送请求获取响应对象
res = request.urlopen(req)
# 3. 提取响应内容
html = res.read().decode()  # string

print(html)

三. URL地址编码模块

作用: 给URL地址中查询参数进行编码

编码前: https://www.baidu.com/s?wd=美女

编码后: https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

两种语法:  

        urllib.parse.urlencode( {dict} )

         urllib.parse.quote(string)编码

1. url 拼接参数的方法

    ①. 字符串相加

baseurl = 'http://www.baidu.com/s?'
params = 'wd=%E7XXXXX&pn=20'
url = baseurl + params

  ②. 字符串格式化(占位符)

params = 'wd=%E7XXXXX&pn=20'
url = 'http://www.baidu.com/s?%s' %params

  ③. format()方法

url = 'http://www.baidu.com/s?{}'
params = 'wd=%E7XXXXX&pn=20'
url = url.format(params)

2. urlencode()编码

from urllib import request  # 请求模块
from urllib import parse  # 编码模块


# 1. 拼接URL地址函数
def get_url(word):
    baseurl = "http://www.baidu.com/s?"
    # 编码+拼接
    params = parse.urlencode({'wd': word})
    url = baseurl + params
    return url


# 2. 请求+保存
def write_html(url, word):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}

    # 拿到响应内容
    req = request.Request(url=url, headers=headers) # 添加请求头
    res = request.urlopen(req) # 发送请求,获取响应
    html = res.read().decode()  # 读取响应

    # 保存到本地
    filename = word + '.html'
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(html)


# 主程序入口
if __name__ == '__main__':
    word = input('请输入要搜索的内容:')
    url = get_url(word)
    write_html(url, word)

3. quote()编码

# 只需要修改两句即可
baseurl = "http://www.baidu.com/s?wd="
# 编码+拼接
params = parse.quote(word)

四. 总结

1. urllib.request

# 1. 添加请求头
req = request.Request(url=url,headers=headers)
# 2. 发送请求,获取响应
res = request.urlopen(req)
# 3. 读取响应内容
html = res.read().decode()

2. 响应对象res方法

res.read() # bytes
res.geturl() # url
res.getcode() # 响应码

3. urllib.parse

# 1. 编码
parse.urlencode( {} )
parse.quote('')
# 2. 解码
parse.unquote('')