【导语】:AutoScraper是一个智能、自动、快速和轻量级的Web爬虫,使用简单便捷,让你从此告别爬虫手动解析网页和写规则的烦恼。
简介
AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。
下载安装
项目的源码地址是:
https://github.com/alirezamika/autoscraper
兼容 Python 3。可使用以下方法进行安装:
(1)从git获取安装
$ pip install git+https://github.com/alirezamika/autoscraper.git
(2)从PyPI获取安装
$ pip install autoscraper
(3)下载源码后进行安装
$ python setup.py install
简单使用
假设我们想在stackoverflow页面中获取所有相关的文章标题:
from autoscraper import Aut