"""
通用爬虫:静态
聚焦爬虫:静态
增量式爬虫:实时爬取网站的最新数据。
Http协议:应用层协议
user-Agent 请求载体的信息
connection 请求完毕后,是断开还是保持连接
Content-type 服务器响应给客户端的数据类型
Https协议
安全的http协议。数据加密。
对称密钥
非对称密钥
证书密钥 :https采用的
URLlib模块,request模块是前者的高级版
作用:模拟浏览器发请求
1 指定URL
2 发起请求
3 获取响应数据
4 持久化存储
"""
import requests
if __name__=="__main__":
#1 指定URL
url = 'https://blog.csdn.net/LVGAOYANH'
#发起请求
response = requests.get(url=url)
#获取响应数据
page_text = response.text
print(page_text)
#持久化存储
with open("h:\\test.txt",'w',encoding='utf-8')as fp:
fp.write(page_text)
print("爬取数据完毕")