一、为什么使用Python进行网络爬虫?
由于Python语言十分简洁,使用起来又非常简单、易学,通过Python 进行编写就像使用英语进行写作一样。另外Python 在使用中十分方便,并不需要IDE,而仅仅通过sublime text 就能够对大部分的中小应用进行开发;除此之外Python 爬虫的框架功能十分强大,它的框架能够对网络数据进行爬取,还能对结构性的数据进行提取,经常用在数据的挖掘、历史数据的存储和信息的处理等程序内;Python网络的支持库和html的解析器功能十分强大,借助网络的支持库通过较少代码的编写,就能够进行网页的下载,且通过网页的解析库就能够对网页内各标签进行解析,和正则的表达式进行结合,
十分便于进行网页内容的抓取。所以Python在网络爬虫网面有很大的优势。
二、判断网站数据是否支持爬取
几乎每个网站都有一个名为 robots.txt 的文档,当然也有部分网站没有设定robots.txt。如果网站没有设定 robots.txt 就可以通过网络爬虫获取没有口令加密的数据,也就是这个网站所有页面数据都可以爬取。当然如果网站有 robots.txt 文档,就要判断是否有禁止访客获取的数据。
三、requests 库抓取网站数据
1.如何安装 requests 库
1.首先在 PyCharm 中安装 requests 库
2.打开 PyCharm,单击“File”(文件)菜单
3.选择“Setting for New Projects…”命令
4.选择“Project Interpreter”(项目编译器)命令
5.确认当前选择的编译器,然后单击右上角的加号。
6.在搜索框输入:requests(注意,一定要输入完整,不然容易出错),然后单击左下角的“Install Package”(安装库)按钮。
安装完成后,会在 Install Package 上显示“Package‘requests’ installed successfully”(库的请求已成功安装),如果安装不成功将会显示提示信息。
四、爬虫的基本原理
网页请求的过程分为两个环节:
Request (请求):每一个展示在用户面前的网页都必须经过这一步,也就是向服务器发送访问请求。
Response(响应):服务器在接收到用户的请求后,会验证请求的有效性,然后向用户(客户端)发送响应的内容,客户端接收服务器响应的内容,将内容展示出来,就是我们所熟悉的网页请求
网页请求的方式也分为两种:
GET:最常见的方式,一般用于获取或者查询资源信息,也是大多数网站使用的方式,响应速度快。
POST:相比 GET 方式,多了以表单形式上传参数的功能,因此除查询信息外,还可以修改信息。
所以,在写爬虫前要先确定向谁发送请求,用什么方式发送。
五、使用 GET 方式抓取数据
复制任意一条首页首条新闻的标题,在源码页面按【Ctrl+F】组合键调出搜索框,将标题粘贴在搜索框中,然后按【Enter】键。
标题可以在源码中搜索到,请求对象是www.cntour.cn,请求方式是GET(所有在源码中的数据请求方式都是GET),如图 9所示。
确定好请求对象和方式后,在 PyCharm 中输入以下代码:
import requests #导入requests包
url = 'http://www.cntour.cn/'
strhtml = requests.get(url) #Get方式获取网页数据
print(strhtml.text)
1234<br>
import requests #导入requests包
url = ‘http://www.cntour.cn/’
strhtml = requests.get(url) #Get方式获取网页数据
print(strhtml.text)
1234