随便写写-爬虫第一周心得 (一)

随便写写-爬虫第一周心得 (一)

requests的基本使用

​ 通过第一周的学习，个人认为只要把python基础语法掌握好，对于爬虫的学习可以说是水到渠成，接下来我将分

​ 而最简单的只需要掌握requests的用法，接下来就简单讲讲requests的用法。

import requests

# 通过requests给指定的网页发送get请求
response = requests.get('https://www.baidu.com/')

# 设置文本编码方式(解决打印乱码)
response.encoding = 'utf-8'

# 打印请求到的内容
print(response.text)

​ 而爬虫也需要对前端的知识有所掌握，不要求会怎么用，只需要知道每个标签的含义，方便爬取，接下来就随便讲讲前端的知识。

1.网页基本结构
实现一个网页需要用到三个技术：
html  -  负责网页中的内容
css   -  负责内容的样式和布局
js    -  负责内容的变化

2.html基本结构
html是一种超文本标记语言(类似markdown语法)，是通过不同的标记(标签)来给网页提供不同的内容。

html标签表示整个网页
head标签表示网页顶部的部分
body标签表示网页显示数据的内容部分

3.html基本语法
1）语法
双标签：<标签名 属性1=属性值1 属性2=属性值2 ...>标签内容</标签名>
单标签：<标签名 属性1=属性值1 属性2=属性值2 ...> 或者 <标签名 属性1=属性值1 属性2=属性值2 .../>

2）说明
标签名 - 标签名有哪些是固定的，哪些标签是双标签哪些标签是单标签也是固定的
属性  -  哪些标签有哪些属性是固定的；多个属性之间用空格隔开，属性名和值用=连接， 属性值不管是什么都必须在双引号里面

​ 常见标签和表单相关标签就不细说了，有兴趣得可以自己去搜索有关前端的知识。接下来我们继续深究requests的用法。

requests：是python用来发送http请求的一个第三方库

1.发送请求获取响应
requests.get(url)  -  发送get请求
requests.post(url)  -  发送post请求
response = requests.get('https://www.baidu.com')

2.获取响应内容
1）状态码 
code = response.status_code
print(code)
if code == 200:
    print('请求成功，后续获取返回的数据')
else:
    print('请求失败')

2）修改返回数据的编码方式（一般针对文本数据乱码的时候）
设置的值是网页源代码中charset的值
response.encoding = 'utf-8'

3）获取响应体(服务器返回的数据)
a.获取文本数据（返回数据是网页源代码）
data = response.text
print(data)

b.获取json数据(返回的数据是json格式的数据)
response.json()

c.获取二进制数据(下载图片)
response.content

​ 下一篇是关于如果遇到不能爬取的网页，又该怎么办？