爬虫小知识

1 爬虫的步骤

1. 请求网页，获取响应结果
2. 解析网页，提取数据
3. 数据持久化

2 小知识

1. User-Agent：将爬虫伪装成浏览器。例如：豆瓣电影Top250、职友集。

2. 字体反爬：将页面总重要信息使用符号进行隐藏。例如：猫眼电影、瓜子二手车、企查查、美团。

3. 动态页面：使用selenium模块（自动化测试的模块），能够模拟人的行为，使用浏览器。

4. 人机验证:九宫格选图片、选成语、选词语、图片+计算公式、字母数字验证码、滑块验证码、短信验证等。
   （1）九宫格选图片：深度学习——https://cuiqingcai.com/36060.html
   （2）选成语、选词语——超级鹰。
   （3） 图片+计算公式、字母数字验证码：光学文字识别（OCR）——easyocr、百度飞桨、百度AI开发者平台等。
   （4）滑块验证码：selenium、pyautogui——引入对应的物理原理。
   （5）短信验证：等待、接码平台。

5. 封IP——代理IP、极光代理IP、蘑菇代理、站芝麻代理等。

6. 检测selenium的网站（滑块验证无法拖成功）——1.加入屏蔽selenium的代码。2.修改selenium驱动的底层代码。例如：淘宝

7. 网页中的数据放到图片中：光学文字识别。

8. 登录使用。例如：淘宝。
   （1）可以在requests中传入对应的cookie信息。
   （2）在selenium中传入cookie。
   （3）使用selenium操作登录的输入框、按钮。

9. RPA——机器人流程自动化（影刀、八爪鱼、壁虎、Uiot等），从selenium进行的演变。