《Python3 网络爬虫开发实战》—学习笔记_《python3网络爬虫开发实战》学习笔记-CSDN博客

本文链接：https://blog.csdn.net/studyeboy/article/details/97790060

开发环境配置

爬虫可以简单的分为几步：抓取页面、分析页面和存储数据。
在抓取页面的过程中，需要模拟浏览器向服务器发出请求，需要Python库来实现HTTP请求操作。

请求库安装

requests

pip3 install requests

Selenium

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。
pip3 install selenium

ChromeDriver

Selenium是一个自动化测试工具，需要浏览器来配合使用，ChromeDriver是Chrome浏览器的驱动配置。

查看Google Chrome版本
下载对应的ChromeDriver
把下载的ChromeDriver.exe放到Google Chrome对应的目录下
把上面的目录添加到path路径下
测试代码

from selenium import webdriver
brower = webdriver.Chrome()

运行代码后

PhantomJS

PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。

Selenium支持PhantomJS，这样在运行的时候就不会再弹出IG浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置，使用非常方便。

下载
解压
exe文件放到ChromeDriver相同的目录下
验证

from selenium import webdriver
>>> brower = webdriver.PhantomJS()
>>> brower = webdriver.PhantomJS()
>>> brower.get('https://www.baidu.com')
>>> print(brower.current_url)
https://www.baidu.com/

aiohttp

requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。这个过程比较耗费时间。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率会大大提高。
aiohttp提供异步web服务的库，aiohttp的异步操作借助于async/await关键字的写法变得更加简洁，架构更加清晰。使用异步请求库进行数据抓取时，会大大提高效率。

pip3 install aiohttp

aiohttp库需要依赖setuptools库，如果环境中没有该库，需要自己安装。

pip3 install setuptools

另外官方推荐了两个库：一个是字符编码检测库cchardet，另一个是加速DNS的解析库aiodns。

pip3 install cchardet aiodns

解析库的安装

抓取网页代码后，需要从网页中提取信息。提取信息的方式多种多样，可以使用正则来提取，但是写起来相对比较繁琐。可以借鉴强大的解析库（lxml、Beautiful Soup、pyquery）和解析方法（XPath解析和CSS选择器解析），利用他们可以高效便捷的从网页中提取有效的信息。

lxml

lxml是Python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，且解析效率非常高。

pip3 install lxml

Beautiful Soup

Beautiful Soup是Python的一个HTML或XML的解析库，可以方便的从网页找那个提取数据，它拥有强大的API和多样的解析方式。

pip3 install beautifusoup4

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('<p>Hello</p>', 'lxml')
>>> print(soup.p.string)
Hello

注意：虽然安装的是beautifulsoup4这个包，但是引入的是bs4，这是因为这个包源代码本身的库文件名称就是bs4，所以安装完成后，这个库文件夹就被移入到Python3的lib库里，所以识别到的库文件名就叫作bs4。

pyquery

pyquery网页解析工具提供和jQuery类似的语法来解析HTML文档，支持CSS选择器。

pip3 install pyquery

tesserocr

在爬虫的过程中会遇到各种各样的验证码，大多数的验证码是图形验证码，这时候可以直接用OCR来识别。

OCR，即Optical Character Recognition，光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说，它们都是一些不规则的字符，这些字符确实是由字符稍加扭曲变换得到的内容。

tesserocr是Python的一个OCR识别库，但其实是对tesseract做的一层Python API封装，所以它的核心是tesseract。因此，在安装tesserocr之前，需要先安装tesseract。

下载tesseract
https://digi.bib.uni-mannheim.de/tesseract/
双击exe安装
安装tesserocr

pip3 install tesserocr

数据库的安装

作为数据存储的重要部分，数据库同样是必不可少的，数据库可以分为关系型数据库和非关系型数据库。
关系型数据库如SQLite、MySQL、Oracle、SQL Server、DB2等，其数据库是以表的形式存储；非关系型数据库如MongoDB、Redis，它们的存储形式是键值对，存储形式更加灵活。

MySQL

下载
https://dev.mysql.com/downloads/mysql/5.5.html#downloads

MongoDB

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。

Redis

Redis是一个基于内存的高效的非关系型数据库。

存储库的安装

用来存储数据的数据库提供了存储服务，如果和Python交互，还需要安装Python存储库，如MySOL需要安装P有MySQL，MongoDB需要安装PyMongo。

PyMySQL

pip3 install pymaysql

PyMongo

pip3 install pymongo

redis-py

pip3 install redis

RedisDump

RedisDump是一个用于Redis数据导入/导出的工具，是基于Ruby实现的，所以要安装RedisDump，需要先安装Ruby。

Web库的安装

日常访问的网站都是Web服务程序搭建而成的，Python也需要这样的一些Web服务器程序，比如Flask、Django等。可以用它们来开发网站和接口等。在网络爬虫中主要使用这些Web服务器程序来搭建一些API接口。例如，维护一个代理池，代理保存在Redis数据库中，将代理池作为一个公共的组件使用，构建获取代理的平台需要通过Web服务提供一个API接口，这样只需要请求接口即可获取新的代理，这样做简单、高效、实用。