网络爬虫笔记-静态爬虫

爬虫基本工具：Pycham 语言Python

安装requests beautifulsoup4

        方法1.使用cmd命令行进行安装 pip install xxx（换成自己想安装的库）

        方法2.直接使用pycharm设置-插件 进行查找想要的库

   

#导入requests库
import requests

#爬取目标网页
url="http://tipdm.com/"
#设置请求头 如何找到请求头打开网页F12开发者工具 F5刷新网页 找到网络选项复制
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76'}

#生成HTTP请求,设定请求头和反应时间，超过1s则停止运行
rq=requests.get(url,headers=headers,timeout=1)

获取内容

#检测响应状态码
rq.status_code
#输出200就是访问成功

#网页源代码
rq.text

#请求头
rq.headers