【class2】爬虫基础

1.回顾上一节课内容：

（1）爬虫爬取的原则是所见即所得，只能获取网页上有的内容。
（2）HTTPS是HTTP协议的安全版。
（3）“//”后面，“/”前面部分为主机名。

如果不记得大家可以去复习哦

Request模块的安装与导入

前面内容讲到，网页爬虫能够获取网页上的信息，要使用Python来爬取网页内容，需要安装requests模块，该模块可以用于获取网络数据。
由于requests模块是Python的第三方模块，需要额外安装，安装requests模块非常简单，在电脑终端输入代码:pip install requests

输入pip install requests的结果为：

小结：

具体步骤：

在终端中输入pip install requests，再按下回车键

ps：

安装之后，用import导入requests模块

即：import requests

注意】在自己电脑上安装模块后，导入requests模块时，可能会出现如下报错信息。
ModuleNotFoundError: No module named 'requests'
出现这种报错原因可能是：
模块未安装上或安装路径错误

总结：

请求网页内容

requests.get()函数可用于模拟浏览器请求网页的过程，在Python语言中使用该函数，就能够获取网页数据。
get()函数中传入要访问网页的URL，就像浏览器打开URL一样。
例如，获取夜曲编程首页的链接就要写:
requests.get("https://np.baicizhan.com/")

步骤总结：

1.Import requests

2，url=“ http：//+主机号+/”

3.response = requests.get(url)

4.print(response)

如何找到url：

1.打开chrome浏览器

2.右键选择{检查}

3.找到{network}

4.将链接复制过去，打开网页

5.找到名字为exemple-post-3的文件

6.点击文件，选择headers

7.找到request headers

8.查看方法：method：GET

获得状态码

步骤总结：

1.import requests

2.url =http://+地址+/

3.response = requests.get(url)

4.statusCode=reponse.status_code

5.Print（statuscode）//返回status:200表示网页打开正常

ps：可以使用if and else 来完善代码

框架总结：

Import requests

url=”http://+地址+/”

reponse=request.get(url)

if reponse.status_code ==200:

    content = response.text[:1000]

    print(content)

else：

print（“请求数据失败”）

仔细观察刚刚输出的内容，不像我们日常接触的Python语言。
这是HTML语言，全称为HyperText Markup Language，超文本标记语言，它用来定义网页内容和结构。
HTML是由一系列的标签组成，这些标签组合起来就是我们浏览器看到的网页。

以上就是作者今日所学，明天我们就开始了解HTML，wei后面的爬虫项目做准备，

大家一起加油！！

期待大家留言交流