python：第一个简单爬虫程序

爬虫的套路

爬虫就是模拟浏览器行为，将别人网站的内容，抓取下来，提取自己想要的内容。

第一步：分析爬取网站的url，请求的url需要哪些参数呀，要不要用户认证等。

第二步：模拟浏览器行为进行网络请求。

第三步：数据保存，在保存之前可以做数据清洗过滤等操作。

代码的展示

from urllib import request


def main():
    # 1、url
    url = "http://www.163.com/"
    # 模拟浏览器行为，防范被反爬虫
    header = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.8.3.16721"}
    # 2、网络请求
    req = request.Request(url,headers=header)
    response = request.urlopen(req)
    # 查看爬取网页的编码 将读取的内容进行解码
    str = response.read().decode("gbk")
    # 3、保存文件
    with open("网易.html","w",encoding="gbk") as f:
        f.write(str)

if __name__ == '__main__':
    main()

爬取的内容

就这样简单几行代码就把别人网站内容爬到本地了，其实还有很多工作要做得，这只是单纯的爬了一个网页下来。