Python 爬虫初级

安装库

安装requests库

pip install  requests -i https://pypi.douban.com/simple

关键解释

爬虫就是根据网站留出的接口给网站发送请求获取网站相关数据，给网站一般发送请求有两种方式：post、get。所谓的get方法，便是利用程序使用HTTP协议中的GET请求方式对目标网站发起请求，post请求方式的使用和get方式并没有很大的区别，本质的区别在于它传递参数的方式并不像get方式一样，通过在url中拼接字段来发送给服务器，他采取了一种相较之下更为安全的操作方式。
给网站发送的请求体，一般有四个部分组成：url、headers、data、json。根据不同的网站接口，有的网站只有前面的部分。

1. url 目标网址
2. headers 请求体的头部
3. data 请求体内容
4. json 一般在AppKey中加密时候使用

requests库内关键函数说明：

requests.get(url=start_url, headers=headers)  #直接返回response，可通过response.text查看结果
requests.post(url=url, data=data, headers=headers, json={“auction”=1})

例子

装好环境之后，可以用下列例子测试相关库是否装好了！另外推荐网站：http://www.imooc.com/article/48845?block_id=tuijian_wz ，本人主要就是根据这个网站内容学习的。

import requests

start_url = 'https://www.baidu.com'
response = requests.get(url=start_url)
print(response)    # 返回值：<Response [200]>