爬虫（1）概述和前置知识

jayden-leo

于 2022-04-17 17:32:11 发布

阅读量618

点赞数 1

分类专栏：爬虫文章标签：爬虫网络爬虫数据分析 python

本文链接：https://blog.csdn.net/qq_34516746/article/details/124230257

版权

爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1 爬虫简介

1.1 爬虫的引入

现在大数据时代，互联网中可以利用大量的数据来进行分析。而数据的来源除了用户在互联网中产生的，政府统计的，数据管理公司生成的以外，还可以利用一些工具手段对互联网中的数据进行获取，这就是爬虫。

1.2 数据的作用

（1）数据分析
（2）智能产品练习数据（如深度学习需要大量的数据）
（3）卖（数据本身具有价值）

1.3 什么是爬虫

使用编程语言所编写的一个用于爬取web或app数据的应用程序
demo

1.4 怎么爬数据

（1）找到要爬取的目标网站、发起请求
（2）分析URL是如何变化的和提取有用的URL(可能需要不断的重复)
（3）提取有用的数据

1.5 爬虫数据能随便爬吗

（-）遵守robots.txt协议

1.6 爬虫的分类

（1）通用网络爬虫：百度，Google等搜索引擎，从一些初识的URL扩展到整个网站，主要为门户站点搜索引擎和大型网站服务采集数据
（2）聚焦网络爬虫：又称主题网络爬虫，选择性地爬行根据需求的主题相关页面的网络爬虫
（3）增量式网络爬虫：对已下载网页采取增量式更新知识和只爬行新产生或者已经发生变化的网页爬虫
（4）深层网络爬虫：大部分内容不能通过静态的URL获取、隐藏在搜索表单后的、只有用户提交一些关键词才能获得的网络页面
注意：（2）（3）（4）统称聚焦类的网络爬虫

1.7 爬虫的原理

（1）通用网络爬虫的原理
demo
（2）聚焦网络爬虫的原理
demo

1.8 用什么语言来编写爬虫（Python）

（1）PHP：PHP是世界上最好的语言，但他天生不是做这爬虫的“材料”，因为它对多线程、异步支持的不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
（2）Java：是Python爬虫最大的竞争对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码。
（3）C/C++：运行效率是无敌的。但是学习和开发成本高。写个小爬虫程序可能要大半天时间。
（4）Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变量异常简单。

1.9 总结

demo

2 爬虫开发的前置知识

在使用爬虫前，首先要了解一些基本的知识和术语：HTTP与HTTPS、URL与URI、HTTP的请求过程、Session与Cookie、JSON数据、Ajax请求

2.1 HTTP与HTTPS

HTTP协议：（全称：HyperText Transfer Protocal ，超文本传输协议），是一种发布和接收HTML（HyperText Markuup Language）页面的方法。服务器端口号为80端口
HTTPS 协议：（全称：Hyper Text Transfer Protocol over SecureSocket Layer），是HTTP协议的加密版本，在HTTP下加入了SSL层，服务器端口号是443

2.2 URL与URI

URL：(网址)是Uriform Resource Locator的简写，统一资源定位符。一个URL由以下几部分组成
1)协议的类型
2)主机名称/域名
3)端口号
4)查找路径
5)查询参数
6)锚点，前端用来做面定位的。现在一些前后端分离项目，也用锚点来做导航
前端定位 https://baike.baidu.com/item/%E5#2
锚点导航动的是#之后的内容 ,根据锚点去请求数据 https://music.163.com/#/friend
URI：统一资源标识符 Uniform Resource Identifier ,是一个用于标识某一互联网资源名称的字符串
eg：https://www.baidu.com/deeplearn?python=3.6
URL是指https://www.baidu.com/deeplearn
URI指deeplearn

2.3 HTTP的请求过程

http协议规定了浏览器与服务器进行数据交互的过程中必须要选择一种交互的方式
在HTTP协议中，定义了八种请求方式。常见的有get请求与post请求
get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求
post请求：向服务器发送数据(登录）、上传文件等，会对服务器资源产生影响的时候会使用Post请求。
以上是网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制，也经常会不按常理出牌。有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。
get与post的区别:
（1）Get是不安全的，因为在传输过程，数据被放在请求的URL中；Post的所有操作对用户来说都是不可见的。
（2）Get传送的数据量较小，这主要是因为受URL长度限制,不能大于2kb；Post传送的数据量较大，一般被默认为不受限制。
（3）Get限制Form表单的数据集的值必须为ASCII字符；而Post支持整个ISO10646字符集。
（4）Get执行效率却比Post方法好。Get是form提交的默认方法。
http协议中，向服务器发送一个请求，数据分为三部分
（1）第一个是把数据放在url中
（2）第二个是把数据放在body中(post请求时）
（3）第三个就是把数据放在head中
常见的请求头参数
（1）user-agent：浏览器名称
（2）referer：表明当前这个请求是从哪个url过来的
（3）cookie：http协议是无状态的。也就是同一个人发送了两次请求。服务器没有能力知道这两个请求是否来自同一个人。
常见的响应状态码
200: 请求正常，服务器正常的返回数据
301：永久重定向。比如访问http://www.360buy.com的时候会重定向到www.jd.com
404：请求的url在服务器上找不到，换句话说就是请求的url错误. https://www.jianshu.com/fd
418：发送请求遇到服务器端反爬虫，服务器拒绝响应数据
500：服务器内部错误，可能是服务器出现了bug
HTTP请求的交互过程
（1）客户端浏览器向网站所在的服务器发送一个请求
（2）网站服务器接收到这个请求后进行解析、处理，然后返回响应对应的数据给浏览器
（3）浏览器中包含网页的源代码等内容（存在浏览器的缓存中），浏览器再对其进行解析，最终将结果呈现给用户
EG：分析豆瓣电影https://movie.douban.com/
（1）Elements ：可以帮助我们分析网页结构，获取我们想要的数据
（2）Console控制台：打印输出网站的一些信息，比如说网站的招聘信息
（3）Sources相当于一个文件夹一样，加载这个网页所需要的所有的源文件，除了Elements的源代码之外，还有一些CSS文件、JS文件等。
（4）Network ：查看整个网页发送的所有网络请求。一般我们想要去查看某个请求的信息，都可以到这里面去看
按F12查看源文件

2.4 Session与Cookie

Session
（1）Session代表服务器与浏览器的一次会话过程。
（2）Session是一种服务器端的机制，Session对象用来存储特定用户会话所需的信息。
（3）Session由服务器端生成，保存在服务器的内存、缓存、硬盘或数据库中。
Cookie
（1）Cookie是由服务端生成后发送给客户端（通常是浏览），Cookie总是保存在客户端
（2）Cookie的基本原理：1创建Cookie；2设置存储Cookie；3发送Cookie； 4读取Cookie

2.5 JSON数据

JSON（JavaScript ObjectNotation，JS对象标记）是一种轻量级的数据交互格式，采用完全独立于编程语言的文本格式来存储和表示数据。
简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
JSON的数据格式
（1）对象表示为键值对
（2）数据由逗号分隔
（3）花括号保存对象
（4）方括号保存数组
在数据结构上，JSON与Python里的字典非常相似