生活中任何人都无法摆脱数据的时代。要想获得更多的数据,最有效的方法就是从网络收集。Python在收集数据方面无疑是一门很好的语言。网络上python爬虫框架有众多,大家有兴趣可以去学习一下,在这就简单介绍下如何使用python写爬虫。
一、 环境准备
(1) python运行环境
(2) html解析器(Beautiful Soup)
二、 数据采集
(1) 获取网页代码
urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp数据。
,Urllib.urlopen() 用于打开url地址。
read()方法用于url上的数据。
(2) 筛选页面数据
筛选数据的方法有很多种,如:正则、Beautiful Soup等。
在这我们使用beautiful soup对页面数据筛选。
ü 安装解析器
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml 。根据操作系统不同,可以选择下列方法来安装lxml:
$ apt-get install Python-lxml
$ easy_install lxml
$ pip install lxml
另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:
$ apt-get install Python-html5lib
$ easy_install html5lib
$ pip install html5lib
ü 解析器优缺点
ü 筛选数据
如上,使用beautiful soup解析网页,获取网页的标题,更多beautiful soup说明请看官方文档:https://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html。
想知道如何反爬,跳过登录抓取数据,请持续关注文章~~