一键了解获取网页requests方式

目录

一、爬虫原理：

二、安装：

测试：

三、文件的操作

方式一 

 方式二:

方式三

四、认识User-Agent

4.1、为什么用User-Agent：

步骤：

五、请求方式

5.1、get

 5.2、post

六、爬出有中国关键字页面案例

---

一、爬虫原理：

代码发起请求 获取到请求的网页的源码，从源码里面筛选内容

 

二、安装：

第一步：在终端运行安装命令

pip install requests

第二步：导入模块

import requests

写好会报错说明没有安装 

测试：

 resp=requests.get("https://www.baidu.com")
print(resp)

输出 响应码200，即代表请求成功

三、文件的操作

r 读取    w 写入  a 追加  b 二进制  + 又读又写 

open打开文件夹

mode模式

encoding编码方式

方式一 

file=open('a.html',mode='w+',encoding='utf-8')
# 放内容
file.write("")
# 关闭
 file.close()

 方式二:

不用手动关闭，自动关闭

with open('a.html',mode='w+',encoding='utf-8') as f:
    f.write("")

方式三

 # 百度的数据保存到网页中
file=pathlib.Path('a.html')
# 写入
file.write_text("hel