python之get请求爬取基础实验(详细备注)

先来简单介绍一下get请求:
get这个单词表示得到得意思
当我们点击一个超级连接得时候,浏览器会通过这个超级连接向指定的
服务器发送一个查询字符串
而服务器会查询这个字符串,并分析其查询的内容以读取相应的资源返
回给浏览器,最终浏览器将返回的字符串显示出来
也就是说凡是通过get方法请求的连接我们都可以在url当中,直接看到
其请求的内容

我们选取百度首页为爬取对象,爬取百度首页里面的连接

创建一个txt文本和py文件

一个基础的爬取百度首页连接过程,下面分享给大家

#@Time :    2020-11-21
#name : Mashine_S
import requests     #导入requests包(第三方导入)
import re           #导入re包python(自带的)

r = requests.get('https://www.baidu.com') #爬取百度的页面内容
content = r.content.decode("utf-8")              #解码形式
print(type(content))                      #type一下是什么类型的
print(content)                            #打印刚刚爬取的内容

res = '<a href=(.+?)(>| .*?>).*?</a>'#编写正则表达式(这里我们是匹配一些a标签里的连接)
linkes = re.findall(res,content)         #编写的正则表达式和上面爬取的内容进行匹配
print(linkes)                            #打印匹配结果
linkes = [e[0] for e in linkes]          #我们只要正则表达式里的第一个括号里的连接所有写了个for循环

with open(r'D:\demo\test\test.txt','w') as f:#将匹配出来的结果导入txt文本当中
    for e in linkes:
        f.write(e+'\n')

以下部分截图