网络爬虫--爬虫基础

最新推荐文章于 2022-09-20 14:34:43 发布
最新推荐文章于 2022-09-20 14:34:43 发布
阅读量782 收藏 1
点赞数
分类专栏： python3 文章标签： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ANingL/article/details/119042243
版权

文章目录

一、通用爬虫和聚焦爬虫

根据使用场景，网络爬虫可以分为通用爬虫和聚焦爬虫

1、通用爬虫

1）概念

  • 通用网络爬虫 是搜索引擎抓取系统（Baidu、Google等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
  • 通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

在这里插入图片描述

  • 搜索引擎如何获取一个新网站的URL：
    • 新网站向搜索引擎主动提交网址
    • 在其他网站上设置新网站外链
    • 和DNS解析服务商（如DNSPod）合作，新网站域名将迅速抓取

3）爬虫限制

搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

  • rel=’‘nofollow’’，告诉搜索引擎爬虫无需抓取目标页，同时告诉搜索引擎无需将当前页的Pagerank传递到目标页。
  • Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Pobots Exclusion Protocol）,网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。(通过网址后加“/robots.txt”查询某网页不能爬取的信息)

4）思路

在这里插入图片描述

5）局限性

  • 大多数情况下，网页里90%的内容对用户来说都是无用的
  • 搜索引擎无法提供针对具体某个用户的搜索结果
  • 图片、数据库、音频、视频多媒体等不能很好地发现和获取
  • 基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。

2、聚焦爬虫

聚焦爬虫是“面向特定主题需求”的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页爬取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

二、HTTP和HTTPS

  • HTTP协议-80端口
    HyperTextTransferProtocol超文本传输协议是一种发布和接收HTML页面的方法
  • HTTPS-443端口
    HyperTextTransferProtocoloverSecureSocketLayer,相当于HTTP的安全版，在HTTP下加入SSL层。
  • HTTP工作原理
    网络爬虫抓取过程可以理解为模拟浏览器操作的过程
    在这里插入图片描述
  • 浏览器发送HTTP请求的过程
    • 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法
    • 当我们在浏览器输入URLhttp://www.baidu.com的时候，浏览器发送一个Request请求去获取http://www.baidu.com的html文件，服务器把Response文件对象发送回给浏览器
    • 浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送Pequest去获取图片，CSS文件，或者JS文件
    • 当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了
  • URL：统一资源定位符，是用于完整地描述Internet上网和其他资源的地址的一种标识方法
    • 基本格式：协议://主机名[:port]/path/…/[?query-string] [#anchor]
    • query-string:参数，发送给http服务器的数据
    • anchor：锚（跳转到网页的指定锚点位置）

三、客户端HTTP请求

  • 客户端发送一个HTTP请求到服务器的请求信息，包括以下格式：
    在这里插入图片描述
  • 根据HTTP标准，HTTP请求可以使用多种请求方法
    • HTTP0.9：只有基本的文本GET功能
    • HTTP1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求方法：GET,POST,HEAD方法
    • HTTP1.1:在1.0的基础上进行更新，新增了五种请求方法：OPTION,PUT,DELETE,TRACE,CONNECT方法
  • 请求方法：
1GET请求指定的页面信息，并返回实体主体
2HEAD类似于GET请求，只不过返回的响应中没有具体的内容，用于获取报头
3POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件），数据被包含在请求体中，POST请求可能会导致新的资源的建立和/或已有资源的修改
4PUT从客户端向服务器传送的数据取代指定的文档的内容
5DELETE请求服务器删除指定的页面
6CONNECThttp/1.1协议中预留给能够将连接改为管道方式的代理服务器
7OPTION允许客户端查看服务器的性能
8TRACE回显服务器收到的请求，主要用于测试或诊断
  • 常用的请求报头
    • Host：主机和端口号
    • Connection：客户端与服务连接类型，默认为keep-alive
    • User-Agent：客户浏览器的名称
    • Accept：浏览器或其他客户端可以接受的MIME文件类型
    • Referer：表明产生请求的网页来自于哪个URL
    • Accept-Encoding：指出浏览器可以接受的编码方式
    • Accept-Language：语言种类
    • Accept-Charset：字符编码
    • Cookie：浏览器用这个属性向服务器发送Cookie
    • Content-Type：POST请求里用来表示的内容类型

四、HTTP响应

  • HTTP响应由四个部分组成，分别是：状态行、消息报头、空行、响应正文（下图内容由上至下排布）
    在这里插入图片描述
  • 响应状态码：
    • 200：请求成功
    • 302：请求页面临时转移至新URL
    • 307和304：使用缓存资源
    • 404：服务器无法找到请求页面
    • 403：服务器拒绝访问，权限不够
    • 500：服务器遇到不可预知的情况
  • Cookie和Session
    • Cookie：在客户端记录的用来确定用户身份的缓存信息
    • Session：在服务器端记录的用于确定用户身份的缓存信息

五、图片下载器

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

An宁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫基础（1）什么是网络爬虫
Python达人
03-18 2563
文章目录一. 认识网络爬虫二. 网络爬虫的组成三. 网络爬虫的类型1. 通用网络爬虫2. 聚焦网络爬虫3. 增量式网络爬虫4. 深层网络爬虫（1）静态网页（2）深层页面和表层页面（3）网络爬虫表单填写四. 网络爬虫的用途 一. 认识网络爬虫 说起网络爬虫，人们常常会用这样一个比喻：如果把互联网比喻成一张网，那么网络爬虫就可以认为是一个在网上爬来爬去的小虫子，它通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地
网路爬虫基础知识
m0_46163065的博客
05-02 642
网络爬虫基础知识 1.介绍几个基础概念 网络爬虫：爬虫是一个模拟让人类请求网站行为的程序，可以自动请求网页，并把数据爬取下来，然后使用一定的规则提取有价值的数据。 HTTP协议:即超文本传输协议，是一种发布和接收HTML页面的方法，服务器的端口号为80端口。 url详解:统一资源定位符 结构如下所示： scheme://host:port/path/?query-string=xxx#anchor...
爬虫与反爬虫技术简介
萌兔兔MMQ！！
09-20 946
互联网的大数据时代的来临，网络爬虫也成了互联网中一个重要行业，它是一种自动获取网页数据信息的爬虫程序，是网站搜索引擎的重要组成部分。通过爬虫，可以获取自己想要的相关数据信息，让爬虫协助自己的工作，进而降低成本，提高业务成功率和提高业务效率。本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。
网络爬虫理论基础
Deng872347348的博客
05-08 840
网络爬虫理论基础
网络爬虫基础
__Samual的博客
08-10 208
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据。原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做。基于url地址变化、内容也随之变化的数据增量爬虫。爬虫也只能获取客户端(浏览器)所展示出来的数据。如果从响应中提取url，则继续发送请求获取响应。url地址不变、内容变化的数据增量爬虫。如果从响应中提取数据，则将数据进行保存。...
python网络爬虫-入门基础学习爬虫原理.zip
最新发布
05-20
python网络爬虫-入门基础学习爬虫原理.zip
python-网络爬虫.doc
06-20
Python 网络爬虫基础知识 Python 网络爬虫是一种爬行程序，能够自动抓取网页的内容。网络爬虫的基本操作是抓取网页，它可以根据 URL 地址取得所需要的文件内容，然后对它进行进一步的处理。为了更好地理解网络爬虫...
python网络爬虫-入门基础学习.docx
04-25
网络爬虫(又被称为网页蜘蛛，网络机器人，在 FOAF 社区中间，更经常的称为网页追逐 者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的 名字还有蚂蚁、自动索引、模拟程序或者蠕虫...
网络爬虫入门学习
qq_55691662的博客
11-20 1075
文章目录一、初识网络爬虫1.1 网络爬虫定义1.2 爬虫原理1.3 爬虫工作的过程二、示例一2.1 需要的内置库以及第三方库2.2 具体代码2.3 结果展示：三、示例二3.1 确定要爬取信息的位置3.2 具体代码3.3 结果展示四、总结五、参考文献 一、初识网络爬虫 1.1 网络爬虫定义 网络爬虫英文名叫Web Crawler或Web Spider，是一种自动浏览网页并采集所需要信息的程序 1.每个节点都是一个网页 2.每条边都是一个超链接 3.网络爬虫就是从这样一个网络图中抓取感兴趣的内容 1.2
爬虫Scrapy框架基本流程图入门：以东莞阳光网为例
采菊东篱下，Python满乾坤！
11-05 5452
Scrapy简单介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬
Python网络爬虫定义
06-01
关于网络爬虫的定义
爬虫基础
pythoncsdn111的博客
07-15 479
1、爬虫的概念 ​ 概念：（spider，网络蜘蛛）通过互联网上一个个的网络节点，进行数据的提取、整合以及存储 分类： 通用爬虫（了解） ​ 主要用于搜索引擎（百度、Google ，搜狗等） ​ 搜索引擎的工作原理： ​ 核心部分：通过爬虫按照互联网的拓扑结构，进行批量的数据抓取，然后进行数据清洗与整合，然后按照一定的次序存入百度的数据库集群 ​ 检索部分：实质上就是一个web系统，给...
网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)
热门推荐
张茂洋的博客
03-02 2万+
网络图片爬取 前提准备 安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装 主要分为以下几个部分： 1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以 爱奇艺的首页为例，注意下图： 可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到） 2. 读取网页的内容 代码如下： #导入两个开发库 import urllib.request
爬虫基础（基础知识）
qq_44805233的博客
10-30 636
1、爬虫介绍 爬虫是一种按照一定规则，自动地抓取万维网信息的程序或者脚本。 通用网络爬虫又称为全网网络爬虫，爬取对象是从一些种子URL扩展到整个WEB，各种搜索引擎是一个典型的例子。 聚焦（主题）网络爬虫指有目的性的进行爬虫，根据需求按需采集。 深度网络爬虫：有些信息需要提交参数才可以获取隐藏数据。 增量式网络爬虫：对曾经爬取过的网站但是又更新的网站进行爬取，可以在一定程度上保证爬取的页面是尽可能新的页面 爬取得到的数据的分类有：用户产生的数据：如WeChat、QQ等；政府的数据:中国政府数据网；数据公司管
爬 虫 基 础
m0_61597961的博客
12-14 1213
http基本原理： Uri：全称为“Uniform Resource Identifier”，即统一资源标识符。 Url：全称为“Universal Resource Locator”，即统一资源定位符。 通俗的来讲url就是uri，而uri包括了url和urn，目前我们常见的都是url。 例如：“https://www.baidu.com/?tn=02003390_79_hao_pg”就是url。 一个完整的url包括三部分： 第一部分是协议（或称为服务方式）； 第二部分是存有该资源的主机IP
爬虫基础—爬虫的基本原理
W_chuanqi的博客
06-08 5783
📋 个人简介 💖 作者简介：大家好，我是W_chuanqi，一个编程爱好者 📙 个人主页：W_chaunqi 😀 支持我：点赞👍+收藏⭐️+留言📝 💬 愿你我共勉：“若身在泥潭，心也在泥潭，则满眼望去均是泥潭；若身在泥潭，而心系鲲鹏，则能见九万里天地。”✨✨✨​ 若是把互联网比作一张大网，爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网中的节点比作一个个网页，那么蜘蛛爬到一个节点处就相当于爬虫访问了一个页面，获取了其信息。可以把网页与网页之间的链接关系比作节点间的连线，蜘蛛通过一个节点后，顺着...
网络爬虫基础知识必知必会
小鱼干儿的博客
07-06 870
网络爬虫又称网页蜘蛛，网络机器人，是一种按照一定规则，自动请求万维网网站并且提取网页信息的程序或脚本Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots ExclusionProtocol），是一种网届通行的道德规范，围绕搜索技术应服务于人，同时尊重信息提供者的意愿，并维护其隐私权；网站有义务保护其使用者的个人信息和隐私不受侵犯。 网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取. 根据协议，网站管理员可以在网站域名的根目录下放一个robots.t
Java网络爬虫基础
夫子与歌的博客
05-19 476
概述网络爬虫的工作流程： 1. 模拟浏览器访问网页 2. 从返回的响应数据中抓取关键点或全部数据保存到本地在java中我们会使用URLConnection 或者 Httpclient 进行一个网页接连，然后给网页发送get或者post方法请求，以获取网页的响应数据，然后再响应数据中抓取到我们需要的东西保存下来。简单爬取一个网页首先我们先来完整的爬取一个页面，我们以百度为例：这是百度的网址http
一篇文章教会你Python网络爬虫程序的基本执行流程
chinaherolts2008的博客
03-04 404
网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。 一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据， 解析数据， 保存数据 请求数据 请求的数据除了普通的HTML之外，还有 json 数据、字符串数据、图片、视频、音频等。 解析数据 当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有c
python-网络爬虫讲义
05-14
Python-网络爬虫讲义是一本介绍网络爬虫基本知识和实现方法的书籍。网络爬虫是一种自动化程序，通过模拟人类浏览网页的行为，在网络上抓取数据的一种方式。在当前互联网数据的爆炸式增长的时代，网络爬虫成为了人们获取数据的重要工具。 该本书首先介绍了网络爬虫的基础知识，包括HTTP请求，HTML解析和数据提取等。然后详细讲述了使用Python实现网络爬虫的方法，包括使用第三方库如Requests、BeautifulSoup和Scrapy等。 此外，该书还介绍了一些网络爬虫的高级技术，比如如何处理动态网页和反爬虫机制。它还讨论了网络爬虫的应用场景，如如何使用爬虫获取新闻信息、竞争对手情报、行业动态和学术研究等。 总的来说，Python-网络爬虫讲义是一本非常实用的书籍，对于想要学习和实践网络爬虫的人们来说，具有很大的参考价值。它不仅可以让读者掌握网络爬虫的基本概念和方法，还可以让读者了解如何使用Python实现网络爬虫，以及如何在实践中遇到问题时调试和解决问题。强烈推荐给想要学习和使用网络爬虫的爱好者们。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值