python爬虫学习：第一章：爬虫基础

第一章：爬虫基础

1.什么是爬虫？

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

• 为什么要模拟浏览器？
  比如说我们打开浏览器输入一个网址或者需求后，会呈现一张页面，而页面对应的数据就是浏览器从互联网上获取的，可以认为浏览器就是最原始最天然基于爬虫的工具，浏览器可以帮助我们去互联网抓取数据。
• 抓取：通过编写数据可以获取完整的页面数据或者局部指定特定的页面数据*。

2. 爬虫的价值：

• 实际应用
• 就业

3. 爬虫究竟是合法的还是违法的？

• 在法律中不被禁止（爬取公开的数据）

• 具有违法风险（窃取后台数据）

• 善意爬虫 恶意爬虫

• 爬虫带来的风险：
  ​ — 爬虫干扰了被访问网站的正常运营
  ​ — 爬虫抓取了受到法律保护的特定了类型的数据或信息

• 如何在使用编写的爬虫的过程中避免进入局子的厄运？
  ​ — 时常的优化自己的程序，避免干扰被访问网站的正常运行
  ​ — 在使用、传播爬取到的数据时，审查抓取到的内容，如果发现涉及到的用户隐私、商业机密等敏感内容需要 及时停止爬取和传播。

  4. 爬虫在使用场景中的分类：