python基础爬虫(学习笔记版)

-Step1:导入requests模块
import requests
-Step2:进行URL指定以及ua封装
url=‘想要爬取的指定url’
headers={在网页上打开开发者工具，找出对应的user—agent}
对应格式:headers={‘user—agent’:‘xxxxx’}
-Step3:进行requests请求
response=requests.get(url=url,headers=headers)
page_text=response.text
-Step4:进行持续化存储
with open(‘./文件名.html’,‘w’,encoding=‘utf-8’)as fp:
fp.write(page_text)
最后打印提示
print(‘over’)
完整流程以爬取百度首页源码为例:

// 百度爬取首页爬取示例
#requests模块导入
import requests
#UA伪装
headers = { 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)'}
#指定url
url='http://www.baidu.com'
#进行requests请求url
response=requests.get(url=url,headers=headers)
page_text=response.text
#持续化存储
with open('./baidu.html','w',encoding='utf-8')as fp:
    fp.write(page_text)
#打印结束提示
print ('over')

结果：是一个存在本地根目录下的html文件