Python爬虫常用框架

大家都知道python是一门多岗位编程语言，学习python之后可以从事的岗位有很多，python爬虫便在其中，不过很多人对python不是很了解，所以也不知道python爬虫是什么，接下来小编为大家介绍一下。

Python是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。

爬虫框架是一种用于编写网络爬虫程序的框架，它提供了一些常用的功能，如HTML解析、数据存储、反爬虫策略等，以便开发者能够更快、更高效地开发爬虫程序。

以下是一些常用的爬虫框架：

1、Scrapy：Scrapy是一个基于Python的爬虫框架，它提供了一个基于Twisted的异步网络框架，可以快速地从网站中提取信息。

2、BeautifulSoup：BeautifulSoup是一个Python库，用于从HTML和XML文件中提取信息。它可以从网页中提取出标签、属性和文本，并且可以轻松地处理嵌套结构。

3、PySpider：PySpider是一个轻量级的Python爬虫框架，具有分布式架构和强大的Web UI，可以快速地构建和部署爬虫程序。

4、Requests-HTML：Requests-HTML是一个基于Requests库的Python库，提供了一些用于解析HTML的功能。它可以像Requests一样轻松地发送HTTP请求，并且可以处理JavaScript渲染的网页。

5、Selenium：Selenium是一个用于自动化浏览器的工具，可以模拟用户在浏览器中的操作，如点击、填写表单等。它可以用于处理需要JavaScript渲染的网页，并且可以在多个浏览器中运行。

以上是一些常用的爬虫框架，开发者可以根据自己的需求选择合适的框架进行开发。

Python爬虫架构组成:

1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器;

2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器;

3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

Python爬虫工作原理:

Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

Python爬虫常用框架有：

grab：网络爬虫框架;

scrapy：网络爬虫框架，不支持Python3;

pyspider：一个强大的爬虫系统;

cola：一个分布式爬虫框架;

portia：基于Scrapy的可视化爬虫;

restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象。

demiurge：基于PyQuery的爬虫微框架。

python爬虫详细步骤

下面是一个简单的 Python 爬虫的详细步骤：

1、导入所需的库

在 Python 中，使用 urllib 和 requests 库可以实现基本的网络访问和数据爬取功能，因此需要导入这两个库。

import urllib.request
import requests

2、获取网页内容

使用 urllib 或者 requests 库获取网页内容，通常包括以下步骤：

构建请求头部信息，模拟浏览器访问

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

发送请求并获取网页内容

url = "http://www.example.com"
response = requests.get(url, headers=headers)
content = response.content

3、解析网页内容

解析网页内容通常使用正则表达式或者 BeautifulSoup 库进行，以获取需要的数据。

使用正则表达式

import re
pattern = re.compile('<div class="title">(.*?)</div>')
result = pattern.findall(content.decode('utf-8'))

使用 BeautifulSoup

from bs4 import BeautifulSoup
soup = BeautifulSoup(content, 'html.parser')
result = soup.find_all('div', class_='title')

4、存储数据

将获取到的数据存储到本地文件或者数据库中。

存储到本地文件

with open('result.txt', 'w', encoding='utf-8') as f:
    for item in result:
        f.write(item + '\n')

存储到数据库

import pymysql
db = pymysql.connect("localhost", "root", "password", "database")
cursor = db.cursor()
sql = "INSERT INTO test(title) VALUES('%s')" % (result[0])
try:
    cursor.execute(sql)
    db.commit()
except:
    db.rollback()
db.close()

以上就是一个简单的 Python 爬虫的详细步骤。当然，在实际操作过程中还需要注意一些细节问题，如数据清洗、反爬虫策略等。