实现简单一个简单的python爬虫程序

Python爬虫技术

1.1 爬虫简介

​ 爬虫又称网络蜘蛛，网页机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

1.1.1 分类

• 通用网络爬虫

• 聚焦网络爬虫

• 增量式网络爬虫

1.1.2 robots.txt协议

• 规定了网络中哪些数据是可以爬取的，而哪些数据是不能爬取的,

  注：robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

1.1.3 反爬机制

• 门户网站通过制定相应的策略或技术手段，防止爬虫程序进行网站数据的爬取

了解：

http协议 （超文本传输协议）

https协议 （超文本传输协议 安全）

1.2 Requests模块

• python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

• 作用：模拟浏览器发请求

使用（基本流程）：

• 指定url（这里以搜狗首页为例）

  url = "https://www.sogou.com/"
  

• 发起请求

  response = requests.get(url=url)
  

• 获取响应数据

  page_text = response.text.encode('utf-8')
  

• 持久化存储

  with open('./sogou.html','w',encoding='utf-8') as fp:
      fp.write(page_text)
  

• 执行后将会在项目文件路径下生成一个sogou.html文件

案例展示

实现网页采集

• 这里我们以百度为例

# coding=utf-8
# author : 安城 ance
# requests网页数据采集
# 时间 : 2021/1/18 22:54

import requests

# 准备url
url = "https://www.baidu.com/s"

# 准备相应信息  用来模拟浏览器请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400',
    'Cookie': '此处不做展示',
}
# 键盘接收搜索内容
content = input('搜索内容')
param = {
    'wd': content
}
# request  get请求 且携带封装参数和相应头部信息
response = requests.get(url=url, params=param, headers=headers)
# 获取响应数据的文本
page_text = response.text
# 此处打印一下看是否爬取到数据
print(page_text)
# 将对应文本写入html文件
fileName = content + '.html'
with open(fileName, 'w', encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName, '保存成功')

爬取成功后将在当前工程目录下生成相应搜索词的html文件