Python爬虫技术
1.1 爬虫简介
爬虫又称网络蜘蛛,网页机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。
1.1.1 分类
通用网络爬虫
聚焦网络爬虫
增量式网络爬虫
1.1.2 robots.txt协议
-
规定了网络中哪些数据是可以爬取的,而哪些数据是不能爬取的,
注:robots协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。
1.1.3 反爬机制
- 门户网站通过制定相应的策略或技术手段,防止爬虫程序进行网站数据的爬取
了解:
http协议 (超文本传输协议)
https协议 (超文本传输协议 安全)
1.2 Requests模块
-
python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
-
作用:模拟浏览器发请求
使用(基本流程):
指定url(这里以搜狗首页为例)
url = "https://www.sogou.com/"
发起请求
response = requests.get(url=url)
获取响应数据
page_text = response.text.encode('utf-8')
持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp: fp.write(page_text)
执行后将会在项目文件路径下生成一个sogou.html文件
案例展示
实现网页采集
- 这里我们以百度为例
# coding=utf-8
# author : 安城 ance
# requests网页数据采集
# 时间 : 2021/1/18 22:54
import requests
# 准备url
url = "https://www.baidu.com/s"
# 准备相应信息 用来模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400',
'Cookie': '此处不做展示',
}
# 键盘接收搜索内容
content = input('搜索内容')
param = {
'wd': content
}
# request get请求 且携带封装参数和相应头部信息
response = requests.get(url=url, params=param, headers=headers)
# 获取响应数据的文本
page_text = response.text
# 此处打印一下看是否爬取到数据
print(page_text)
# 将对应文本写入html文件
fileName = content + '.html'
with open(fileName, 'w', encoding='utf-8') as fp:
fp.write(page_text)
print(fileName, '保存成功')
爬取成功后将在当前工程目录下生成相应搜索词的html文件