爬虫理论

最新推荐文章于 2023-11-27 10:43:26 发布
最新推荐文章于 2023-11-27 10:43:26 发布
阅读量290 收藏
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dasfa11/article/details/108377874
版权

目录

文章目录

爬虫的概念

  • 爬虫又称网页蜘蛛或者网页机器人
  • 模拟人操作客户端，向服务器发起网络请求，抓取数据的自动化程序和脚本
  • 爬虫分为聚焦爬虫和通用爬虫
  • 自动化，数据量较小时可以人工获取数据，但往往在公司中爬取的量都在百万级千万级，所以要程序自动化获取数据

B/S C/S 架构

  • B/S架构：Browser/Server，类似淘宝，没有第三方中转，客户端和服务器直接交互
  • C/S：Client/server，类似微信，将微信后端作为中转站，和其他人对话时，需要在中转站传话

通用爬虫

  • 百度，360，搜狐等搜索引擎
    1. 抓取网页
    2. 采集数据
    3. 数据处理
    4. 提供检索服务
  • 通用爬虫抓取新网站的方式
    1. 主动提交url
    2. 设置友情连接
    3. 百度会和DNS服务商合作，抓取新网站
  • 检索排名
    1. 竞价排名
    2. 根据PageRank值，访问量、点击量(SEO)
  • 缺点：
    1. 抓取的内容多数无用。
    2. 无法精确获取数据。
  • robots协议
  1. Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但是robots协议并不是一个规范，而只是约定俗成的，所以可以不遵守。
  2. 在网址后加上/robots.txt就能查看 https://www.baidu.com/robots.txt

聚焦爬虫

  • 根据需求来抓取指定的数据。
  • 设计思路
    1. 确定 url，发起请求，获取响应
    2. 解析内容，抓取数据
    3. 将数据存储到本地，数据持久化
  • 增量式爬虫
    • 通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。
  • 深度爬虫
    • 针对其实url地址进行数据采集，在响应数据中进行数据筛选得到需要进行数据采集的下一波url地址，并将url地址添加到队列中进行二次爬取…以此类推，一致到所有页面的数据全部采集完成即可完成深度数据采集，这里的深度指代的就是url地址的检索深度。

OSI七层模型

7.应用层：

https/http/ftp  http协议：明文传输，端口80  https协议：加密传输，端口443

6.表示层

5.会话层

4.传输层：UDP/TCP

3.网络层：IP

2.数据链路层：ARP

1.物理层：以太网协议

**

TCP/IP五层模型

应用层：https/http/ftp/ssh/Sftp/

传输层：UDP/TCP

网络层：IP

数据链路层：ARP

物理层：以太网协议

HTTP与HTTPS协议

HTTP（HyperText Transfer Protocol：超文本传输协议）是一种用于分布式、协作式和超媒体信息系统的应用层协议。 简单来说就是一种发布和接收 HTML 页面的方法，被用于在 Web 浏览器和网站服务器之间传递信息。

HTTP 默认工作在 TCP 协议 80 端口，用户访问网站 http:// 打头的都是标准 HTTP 服务。

HTTP 协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。

HTTPS协议是由SSL/TLS+HTTP协议构建的可进行加密传输、身份认证的网络协议，要比http协议安全

HTTPS协议的主要作用可以分为两种：一种是建立一个信息安全通道，来保证数据传输的安全；另一种就是确认网站的真实性。


HTTP 与 HTTPS  的区别
1、HTTPS  协议需要到 CA （Certificate Authority，证书颁发机构）申请证书，一般免费证书较少，因而需要一定费用。

2、HTTP 是超文本传输协议，信息是明文传输，HTTPS 则是具有安全性的 SSL 加密传输协议。

3、HTTP 和 HTTPS 使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。

4、HTTP 的连接很简单，是无状态的。HTTPS 协议是由 SSL+HTTP 协议构建的可进行加密传输、身份认证的网络协议，比 HTTP 协议安全。

TCP和UDP

TCP协议是一种面向连接的，可靠的，基于字节流的传输通信协议

1. 有序性：数据包边好，判断数据包的正确次序
2. 正确性：使用checksum函数检查数据包是否损坏，发送和接收时都会计算校验和
3. 可靠性：发送端由超时重发，并有确认机制识别错误和数据的丢失
4. 可控性：滑动窗口协议与拥塞控制算法控制数据包的发送速度

UDP协议是用户数据报协议，面向无连接的传输层协议，传输相对于TCP来说，不可靠

1. 无连接：数据可能丢失或损坏
2. 报文小，传输速度快
3. 吞吐量大的网络传输，可以在一定成都上承受数据丢失

ARP协议

通过IP获取目标计算机的mac地址的协议

	> 交换机不能识别IP地址

服务器创建的默认端口

ftp:21
ssh:22
mySQL:3306
MongoDB:27017
Redis:6379
我吐了。。。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫理论剖析到实战演练视频课程下.rar
08-11
1-1课程介绍视频ev4.mp 4 1-2加载本地数据ev4mp4 2-1安装 postgresql和 beaver ev4mp4 22 pandas加 sqlalchemy链接数据库ev4mp 4 3-1HTTP以及Https协议基础详解ev4.mp4 3-2HTTP的request请求详解ev4mp4 3-3HTTP请求python库实战ev4mp4 34HTTP的response响应以及python库ev4.mp4 4-1 wireshark安装与使用教程ev4mp4 4-2 Fiddler安装与使用教程ev4.mp4 5-1 xpath详解ev4mp4 5-2基于 python的xpa实现ev4mp4 5-3 beautiful soup教程ev4.mp4 6-1注册及 Httprequester.eV44mp4 6-2利用 Request类获取微博数据.ev4.mp4 63利用数据库存储获取的数据ev4mp4 6-4数据分析和数据按需存储ev4.mp4 65新浪微博数据获取总结ev4mp4 7-1利用 Twython进行 twitter数据的获取ev4.mp4 7-2通过 python编写类进行 twitter数据的获取ev4.mp4 7-3将从 twitter获取的数据存储至 postgresql数据库.ev4.mp4 8-1爬虫实战项目1介绍ev4.mp4 8-2 Scrap教程和第一个爬虫ev4.mp4 8-3 firefox firebug以及 chrome工具.ev4.mp4 8-4 scrap shel分析应用宝网站结构.ev4.mp4 8-5 python实现 scrap爬取应用宝网主 页ev4,mp4
爬虫理论核心剖析超级实战 大神爬虫高级技术-倾囊相授 爬虫提升+项目实战+数据分析
04-04
├─1-1 课程介绍视频.ev4.mp4 ├─1-2 加载本地数据.ev4.mp4 ├─2-1 安装postgresql和dbeaver.ev4.mp4 ├─2-2 pandas加sqlachemy链接数据库.ev4.mp4 ├─3-1 HTTP以及HTTPS协议基础详解.ev4.mp4 ├─3-2 HTTP的request请求详解.ev4.mp4 ├─3-3 HTTP请求python库实战.ev4.mp4 ├─3-4 HTTP的response响应以及python库.ev4.mp4 ├─4-1 wireshark安装与使用教程.ev4.mp4 ├─4-2 Fiddler安装与使用教程.ev4.mp4 ├─5-1 xpath详解.ev4.mp4 ├─5-2 基于python的xpath实现.ev4.mp4 ├─5-3 beautiful soup教程.ev4.mp4 ├─6-1 注册及HttpRequester.ev4.mp4 ├─6-2 利用Request类获取微博数据.ev4.mp4 ├─6-3 利用数据库存储获取的数据.ev4.mp4 ├─6-4 数据分析和数据按需存储.ev4.
B/S架构与C/S架构
白驹过隙
04-18 1397
定义
HTTP与HTTPS的区别
weixin_30855761的博客
04-19 2185
　　超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。 　　为了解决HTTP协议的这一缺陷，需要使用另一种协议：安全套接字层超文本传输协议HTTPS，为了数据传输...
基于python的网络爬虫app的开发与设计开题报告
2301_79305643的博客
08-21 993
根据前期对网络爬虫APP功能的分析和确定，最后选择合适的软件架构和技术实现系统的开发，系统在设计实现的时候无论是开发工具还是系统架构使用的都是较为方便的开发模型，还包括了较为成熟的解决方法。2022年，吴姝敏对开发的网络爬虫系统的关键技术作了详细的调研，主要就是 Django框架和ORM系统的特点，重点讲述了 Django框架自动集成的ORM系统大大缩短程序员的开发周期，降低了系统的维护难度。随着计算机的普及，国际上网络爬虫APP前景良好，网络爬虫APP的出现，证明了网络爬虫APP具有良好的前景。
HTTP和HTTPS的区别
qq_39265734的博客
07-27 132
HTTP和HTTPS的区别 1、HTTPS 协议需要到 CA （Certificate Authority，证书颁发机构）申请证书，一般免费证书较少，因而需要一定费用。 2、HTTP 是超文本传输协议，信息是明文传输，HTTPS 则是具有安全性的 SSL 加密传输协议。 3、HTTP 和 HTTPS 使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。 4、HTTP 的连接很简单，是无状态的。HTTPS 协议是由 SSL+HTTP 协议构建的可进行加密传输、身份认证的网络协议，比 HT
爬虫理论剖析到实战演练视频课程上.rar
08-11
1-1课程介绍视频ev4.mp4 ...8-2 Scrap教程和第一个爬虫ev4.mp4 8-3 firefox firebug以及 chrome工具.ev4.mp4 8-4 scrap shel分析应用宝网站结构.ev4.mp4 8-5 python实现 scrap爬取应用宝网主页ev4,mp4
爬虫理论到实战训练视频课程下载整理.zip
08-21
爬虫理论到实战训练【视频课程】下载整理.zip含下载地址可存云盘
基于python的电影数据爬虫与可视化分析系统
最新发布
qq_1406299528的博客
11-27 1377
1.1引言随着社会的快速发展，计算机的影响是全面且深入的。人们生活水平的不断提高，日常生活中人们对电影数据爬虫与可视化分析系统方面的要求也在不断提高，电影数据爬虫与可视化分析系统得到广大用户的青睐，使得电影数据爬虫与可视化分析系统的开发成为必需而且紧迫的事情。电影数据爬虫与可视化分析系统主要是借助计算机，通过对电影数据爬虫与可视化分析系统所需的信息管理，增加用户的选择，同时也方便对广大用户信息的及时查询、修改以及对用户信息的及时了解。
BS架构与CS架构的区别(最详细)
热门推荐
qq_34462436的博客
10-05 12万+
BS架构与CS架构的区别引言特点C/S系统结构B/S系统结构CS与BS的比较C/S 与 B/S 区别：现状与趋势（转自知乎） 引言 C/S结构，即Client/Server(客户机/服务器)结构，是大家熟知的软件系统体系结构，通过将任务合理分配到Client端和Server端，降低了系统的通讯开销，可以充分利用两端硬件环境的优势。早期的软件系统多以此作为首选设计标准。 B/S结构，即Browse...
B/S结构和C/S结构详细介绍
夜空孤狼啸的博客
12-29 1万+
B/S：web应用 可以实现跨平台，客户端零维护，但是个性化能力低，响应速度较慢。 C/S：桌面级应用 响应速度快，安全性强，个性化1、C/S结构，即Client/Server(客户机/服务器)结构，是大家熟知的软件系统体系结构，通过将任务合理分配到Client端和Server端，降低了系统的通讯开销，充分利用两端硬件环境的优势。早期的软件系统多以此作为首选设计标准。2、B/S结构，即Browser/Server（浏览器/服务器）结构，是随着Internet技术的兴起，对C/S结构的一种变化或者改进的结构。
【计算机网络】常用软件架构C/S和B/S
lp15929801907的博客
11-06 1万+
文章目录C/S和B/S架构一、C/S(Client Server)两层架构1、C/S架构背景：2、两层架构：3、C/S架构流程：4、C/S架构的优点：5、C/S架构的缺点：二、B/S(Browser Server)三层架构1、B/S架构背景：2、三层架构：3、B/S架构的三种形式：4、B/S常用架构流程：5、B/S架构的优点：6、B/S架构的缺点：三、C/S与B/S的结构区别1）比较大的差别2）小的差别 C/S和B/S架构 一、C/S(Client Server)两层架构 1、C/S架构背景：   C/S
浅谈 C/S 和 B/S 架构
秋叶原 && Mike || 麦克
04-15 7万+
概述在这个信息急剧膨胀的社会，我们不得不说人类正进入一个崭新的时代，那就是信息时代。信息时代的一个主要而显著的特征就是计算机网络的应用。计算机网络从最初的集中式计算，经过了Client/Server阶段（有两层C/S和三层C/S），已发展到目前最流行的 Browser/Server计算模式。其中颇具争论和影响力的是C/S以及B/S架构，C/S是一种历史悠久且技术非常成熟的架构，B/S是新生代架构，...
爬虫面试题(一)
dasfa11的博客
09-11 6400
1、 什么是爬虫？【考核知识点：爬虫概念】 爬虫又叫网页蜘蛛，是模拟人操作客户端向服务器发起请求，抓取数据 的自动化程序或脚本。 2、 爬虫的分类，并解释其概念？【考核知识点：爬虫分类】 爬虫根据其作用及服务的主体不同可分为两类: 通用爬虫 、聚焦爬虫 通用爬虫是用来获取数据为搜索引擎 提供检索服务的爬虫程序, 所以搜索引擎背后都有一个强大的通用爬虫. 聚焦爬虫是针对特定领域抓取特定数据的爬虫程序. 3、 robots是什么？【考核知识点：robots概念】 obots协议是规定一个网站不允许哪些爬虫爬取哪
selenium安装与配置与操作
dasfa11的博客
09-09 295
selenium安装与配置与操作 selenium是一个web端自动化测试框架，可以通过代码来控制浏览器，比如打开关闭，点击等行为 作用：帮助抓取动态加载的数据，避免反爬 安装： 1.Chrome浏览器 2.selenium框架：pip install selenium 3.驱动程序：下载 http://npm.taobao.org/mirrors/chromedriver/ 查看浏览器版本 选择对应的版本 编码流程： #首先需要将下载的chromedriver.exe放到代码文件夹
爬虫 requests高阶应用
dasfa11的博客
09-06 251
requests高阶应用 文件处理 import requests #打开文件，注意要以rb形式打开 f = open('chn.jpg','rb') files = { 'file':f } res = requests.post(url='***',files = files) 会话维持 from requests import Session 1.实例化一个对象session = Session() 2.urlurl = '*****' 3.session.get()或者sessio
无头浏览器使用
dasfa11的博客
09-09 195
PhantomJS下载及配置环境变量 - 下载, 直接解压: https://phantomjs.org/download.html - 将解压文件的bin目录添加至环境变量 谷歌无头浏览器 from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') chr
xpath 语法
dasfa11的博客
09-08 122
lxml库 从响应数据中抽取出目标数据的过程，就叫做数据解析 数据解析： re,xpath,BS4,Pyquery DOM树与xpath解析原理 xpath解析原理：根据DOM节点的结构关系，进行定位 xpath基本语法 .:当前节点 /:根节点 //:代表任意位置 .//:从当前节点向下的任意位置匹配 nodename:**节点名**定位 nodename[@attribute='value']:根据节点的属性进行定位 @attribue：获取节点的属性值，比如获取a标签的`h
python爬虫数据存储
08-25
在Python爬虫中，常用的数据存储方式有以下几种： 1. 存储为JSON格式：你可以使用`json`模块将数据存储为JSON格式。首先，你需要定义一个`store`函数，该函数接收要存储的数据作为参数，然后使用`json.dumps`将数据转换为JSON字符串，并通过`open`函数以写入模式打开一个文件，最后将JSON字符串写入文件中。类似地，你可以定义一个`load`函数来读取JSON数据。使用`json.load`从文件中加载JSON数据并返回。 2. 存储为CSV格式：你可以使用`pandas`库将数据存储为CSV格式。使用`pandas.read_csv`函数读取一个CSV文件，并将其存储在一个`DataFrame`对象中。然后，你可以通过使用`to_csv`方法将数据写入CSV文件。 3. 存储为Excel格式：你可以使用`xlrd`和`xlutils`库将数据存储为Excel格式。首先，你需要通过`xlrd.open_workbook`函数打开一个Excel文件，然后使用`xlutils.copy.copy`函数创建一个副本。接下来，你可以使用`get_sheet`方法获取指定索引的工作表，并使用`write`方法将数据写入工作表中。最后，使用`save`方法保存修改后的Excel文件。 请注意，在使用任何存储方式之前，你需要通过安装相应的库来引入必要的模块。例如，使用`pip install json`来安装`json`模块，使用`pip install pandas`来安装`pandas`库。 综上所述，以上是Python爬虫中常用的数据存储方式。你可以根据自己的需求选择合适的方式来存储数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python爬虫理论 | (4) 数据存储](https://blog.csdn.net/sdu_hao/article/details/94561746)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [python爬虫系列: 数据存储(一)](https://blog.csdn.net/TOPEE362/article/details/126254928)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值