网络爬虫基础

网络爬虫

1. 爬虫的概念
   网络爬虫是可以按照自己的意愿抓取网页中的信息
2. 爬虫的流程
   爬虫的框架基本上有5个模块，即爬虫调度器、url管理器、HTML下载器、HTML解析器、数据存储器
   爬虫调度器：主要负责统筹其他四个模块
   url管理器：主要负责管理url链接，维护未爬取和已爬取的url集合，提供获取url的接口
   HTML下载器：从url管理器获取url并下载网页
   HTML解析器：从HTML下载器中获取下载网页，并从中解析出新的url并加入url管理器里面，解析的有效数据提交给数据存储器
   数据存储器：将从HTML解析器解析的数据存储到文件或者数据库中
   
3. 网络爬虫的基本的常用技术
   1. requests模块
   2. 正则模块
   3. BeautifulSoup模块

4.爬虫实例
Requests模块：Python网络请求的模块有urllib、urllib3和requests模块，我个人强烈推荐requests模块，它的模块更简化、操作很人性化
安装requests模块 ：pip install requests
我们以爬取校花网为例

import requests
import re
user_agent = "Mozilla / 5.0(WindowsNT10.0;WOW64)"
headers = {'User-Agent':user_agent}
pattern = 'img src="(.*jpg).*alt="(.*)"'
for i in range(31,35):
    url = 'http://www.521609.com/daxuexiaohua/list{}.html'.format(i)
    response = requests.get(url,headers=headers)
    response.encoding='gbk'
    match = re.findall(pattern,response.text)
    for mch in match:
        img = requests.get('http://www.521609.com'+mch[0]).content
        with open(r'照片\\'+mch[1]+'.jpg','wb') as pic:
            pic.write(img)

注释1.url放在循环体内是为了多页爬取，通过看网址我们可以发现url起始位置是从31，后面是依次增加

注释2：response.encoding=‘gbk’，默认的编码是utf-8,我们通过按F12进入开发者选项，发现此网页的编码时GB2312.所以要编码更换为gbk，不然会出现乱码。

注释3：pattern = ‘img src="(.*jpg).alt="(.)"’ ，通过正则得到图片的url和图片名，因为图片是二进制数据，所有get后面跟的是content。