爬虫初步：抓取一个网页

爬虫工作原理：

1. 确认url
2. 使用Python代码发送请求获取数据
3. 解析获取到的数据
4. 数据持久化（保存到本地或数据库）

# 实战：抓取百度网页

# 导入Python自带原生库
import urllib.request

# 一、不带参数：简单爬取百度首页
def load_data():

    # 1.使用Python代码发送get请求、http请求
    # resopnse：http响应对象  访问百度返回的代码
    url = "http://www.baidu.com/"
    response = urllib.request.urlopen(url)

    # 2.读取对象的内容：百度返回的是二进制文件
    data = response.read()

    # 3.将二进制内容转换为字符串
    str_data = data.decode("utf-8") # 以utf-8方式解码
    # 4.将数据写入到html文件:  with open("文件名","打开方式",编码方式) as 变量名：变量名.write(写入到文件的变量)
    with open("baidu.html","w",encoding="utf-8") as outfile:
        outfile.write(str_data)

    # Python爬取的类型：字符串 二进制
    # 如果爬取的是二进制，但是想写入字符串： 内容变量名.decode("utf-8")
    # 如果爬取的是字符串，但是想写入二进制： 内容变量名.encode("utf-8")

# 二、带参数：爬取带搜索的百度网页
def load_data_with_para():


    # 注：Python解析器只支持ASCII码0-127，不支持中文，因为网址包含了宽字符，ASCII没有
    # 此处必须将中文转译

    # 转译需要用到的两个库
    import urllib.parse
    import string

    # 1.拼接字符串
    url = "http://www.baidu.com/s?wd="
    wd = "美女"
    new_url = url + wd + "&usm=3&rsv_idx=2&rsv_page=1" #后面这串字符串必须加上 否则会显示百度完全验证

    # 2.转译完成后：http://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3
    final_url = urllib.parse.quote(new_url, safe = string.printable)

    # 3.使用代码发送网络请求
    response = urllib.request.urlopen(final_url)

    # 4.读取网页文件
    data = response.read().decode("utf-8")  #默认utf-8 参数可以不写

    # 5.保存文件
    with open("baidu_para.html", "w", encoding="utf-8") as outfile:
        outfile.write(data)




load_data()
load_data_with_para()

教程来自廖雪峰老师：https://www.liaoxuefeng.com/