0014-python学习笔记—爬虫在商品信息、图片上的初步应用

目录

一、requests库

1.读取网页  requests.get()

2.requests.head() 获得页面的头部信息

3.其他方法，了解即可

4.http的操作响应

5.robot协议—确认爬虫的基本规则

二、爬虫基本框架

1.爬虫思维：url是入口，知道网页的url就可以进行操作

2.requests.request(method,url,**kwargs) 

3.案例：爬取商品信息

4.案例：搜索网站关键词搜索

5.案例：图片、视频下载

6.案例：通过已有网络工具查ip地址

---

一、requests库

最好用的网页爬虫库之一，重点是requests.get()和requests.head()

使用pip install requests 在cmd中安装requests库

1.读取网页  requests.get()

import requests
r = requests.get("http://www.baidu.com")
r.status_code
# 传回200为一切正常
r.encoding = 'utf-8'
r.text

用type(r)来读取，r是一个Response类 <class 'requests.models.Response'>

2.requests.head() 获得页面的头部信息

3.其他方法，了解即可

 http协议对资源的操作同上

patch可以改变一组或几组字段，put必须将所有字段一起提交，未提交会被删除

 post一个字典：存储到表单的字段下