Day19 - 爬虫

Day19 - 爬虫

一，spider

1.数据分析，数据挖掘

先分析、再挖掘 --> 前提：有数据。

2.数据来源：

1.数据库。2.爬虫 3.其他平台(API)

Spider：蜘蛛。–> 爬虫：可以在互联网的任意位置获取数据。

爬虫概念：

爬虫，别名（网页蜘蛛、蠕虫），学名：网络数据采集。

根据程序员的自定义规则（想法）在互联网中自动的爬取数据（图片、音频、视频、文字等都叫做数据）。

爬虫学习流程

1.爬虫对谁做操作？
表面：爬虫对网页做操作。
深层次：爬虫对服务器做操作。

2.对网页操作
我们需要有HTML、CSS、JavaScript的知识，需要理解某个页面的结构。
浏览器页面F12或者FN + F12或者右键检查或者浏览器设置都可以打开开发人员工具。
网页还分为静态页面和动态页面。

3.使用三方模块：requests向目标网站的服务器发起请求，服务器根据请求返回响应结果response（对象），
对response响应结果处理完得到的是字符串（HTML页面源代码）。

4.从页面源代码中得到所需内容。
方法一：正则表达式匹配。
方法二：三方模块Beautifulsoup4对页面源码进行解析，解析完使用CSS选择器拿到所需内容。
方法三：使用三方模块lxml对页面源码解析，使用XPath语法拿到所需内容。
方法四：三方模块Selenium访问页面，拿到页面内容，可以同时结合CSS选择器或者XPath语句拿到所需内容。

5.数据持久化
将RAM中的结果存储到磁盘或者数据库中。

6.写爬虫会遇到各种反爬机制，使用指定的反反爬措施破解。
a.将爬虫伪装浏览器。
b.封禁IP地址的网站一般使用代理IP：站大爷、芝麻代理、极光代理等。
c.文字反扒。
d.AJAX异步加载。
等。。。。

7.rpa（机器人流程自动化）:八爪鱼、影刀等。使用拖拉拽（实现了某些功能的模块）的形式实现流程自动化（爬虫等）。

1.静态页面：

网页一旦生成，里面的内容不会自动的发生变化。

页面中包含：html（展示页面内容）、css样式（渲染html）、javascript（渲染html）

2.动态页面：

网页生成后，页面内容还会自动发生变化。页面内容和数据库进行联通，数据库中变，页面就变。

一般动态页面都会应用AJXA异步加载。

3.HTTP和HT