爬虫学习记录总结【B站upPython网红Alex版】【未完结】

前言

本帖主要用来记录总结博主学习过程中所遇到的所有问题，包括课程中遇见的和课程外的。博主本身属于初学者，所以有知识不当的地方还请各位大佬批评指正。

Day 1

一、什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。
综上所述，爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

二、爬虫的价值

1、实际应用：在网络上快速精准地合法筛选自己所需要的各种数据。
2、就业：爬虫工程师目前属于紧缺人才（2019年时）。

三、爬虫的合法性探讨

1、爬虫在法律中是不被禁止的。爬虫具有违法风险。

爬虫分为善意爬虫和恶意爬虫。
善意爬虫：
搜索引擎应用获取信息使用的就是爬虫技术，他们放出无数的爬虫去各大网站把信息弄到手，如果有用户想搜索相关资料就能在自己的搜索引擎上直接搜到。这些资料被爬取方是允许爬取方获得的，也有部分资料是很乐意被爬取。比如淘宝网上的商品、网页游戏的广告界面等，这种资源每被爬取一次也就相当于无偿多增加一次宣传。
恶意爬虫：
如果你对抢票软件进行爬取，每秒几百万次的频率去访问，这种就属于恶意爬虫。

2、爬虫的风险来自于两个方面

第一，爬虫干扰了被访问网站的正常运营：比如抢票软件，作为消费者正常地去使用抢票软件进行抢票操作是不违法的。但是如果用爬虫软件对抢票软件高频率地访问，这就对抢票软件客户端造成了不必要的响应，也就是干扰了被访问网站的运营。
第二，爬虫抓取了收到法律保护的特定类型的数据或信息。

3、如何在使用编写爬虫的过程中避免进入局子的厄运呢

第一，时常的优化自己的程序，避免干扰被访问网站的正常运行
第二，在使用，传播爬取到的数据时，审查抓取到的内容，如果发现了涉及到用户隐私商业机密等敏感内容需要及时停止爬取或传播。