python爬虫初识

python爬虫

1.了解爬虫

1.爬虫定义
学习python爬虫首先要知道python爬虫是什么：爬虫就是提取网页中有效的数据。
原理就是向服务器提交请求，服务器响应之后并返回数据。返回的数据再筛选提取之后就是我们要的有效数据。整个过程就是爬虫。

2.爬虫组成
1.发送请求的python代码。
2.被爬取的网页。
3.网页结构
爬取网页之前先简单了解一下网页的结构
HTML HTML是网页的结构，类似于网站框架。带’<>'符号都是HTML的标签，且成对出现
CSS 负责页面的样式
JScript 表示网页的各种功能。网页中所有的交互和特效都在JScript中。

2.实例

参照C语言中文网python爬虫入门http://c.biancheng.net/view/2011.html

3.总结

实例中用到requests库，这是一个功能强大、简单易用的http请求库。
用到requests库中的两种请求方式：
**1.get：**最常见方式，一般用于获取或者查询资源信息，也是大多是网站使用的方式，响应速度快。
2.post: 相比get方式多了以表单形式上传参数的功能，除了能够查询信息之外还可以修改信息。

Beautiful Soup： python自带的一个库，主要功能是从网页住抓取数据。但是目前被移植到bs4库中，在使用Beautiful Soup库时需要先安装bs4库。在实例中指定使用 lxml 解析器进行解析。
Beautiful Soup库支持 Python 标准库中的 HTML 解析器又支持一些第三方解析器，但是 lxml 库功能更加强大、速度更快，所以安装使用 lxml 库。