100天精通Python（爬虫篇）——第43天：爬虫入门知识大总结

置顶 已于 2023-01-01 18:55:53 修改
阅读量3.2w 收藏 229
点赞数 109
分类专栏： 100天精通Python 文章标签： python 爬虫 数据挖掘
于 2022-06-20 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuan2019035055/article/details/125345488
版权

在这里插入图片描述

文章目录

一、爬虫概述

1. 为什么要学习爬虫？

对于个人：

  • 在浏宽到一些优秀的让人血脉喷张的图片时.总想保存起来留为日后做桌面上的壁纸

  • 在浏宽到一些重要的数据时(各行各业)，希望保留下来日后为自己进行各种销售行为增光添彩.在浏览到一些奇奇怪怪的劲爆视频时，希望保存在硬盘里供日后慢慢品鉴

  • 在浏览到一些十分优秀的歌声曲目时，希望保存下来供我们在烦闷的生活中增添一份精彩

对于爬虫工程师：

  • 公司数据需求

  • 数据分析

  • 智能产品练习数据

2. 爬虫与Python

爬虫一定要用Python么? 非也~用Java也行，C也可以。请各位记住，编程语言只是工具.抓到数据是你的目的用什么工具去达到你的目的都是可以的。和吃饭样，可以用叉子也可以用筷子，最终的结果都是你能吃到饭。那为什么大多数人喜欢用Python呢? 答案：因为Python写爬虫简单。不理解? 问：为什么吃米饭不用刀叉? 用筷子? 因为简单好用!

而Python是众多编程语言中，小白上手最快，语法最简单，更重要的是，这货有非常多的关于爬虫能用到的第三方支持库说直白点儿就是你用筷子吃饭，我还附送你一个佣人帮你吃!这样吃的是不是更卖了。更容易了~

3. 爬虫合法吗？

首先，爬虫在法律上是不被禁止的。也就是说法律是允许爬虫存在的但是，爬虫也具有违法风险的就像菜刀一样，法律是允许菜刀的存在的。但是你要是用来砍人，那对不起，没人惯着你就像王欣说过的，技术是无罪的。主要看你用它来干嘛比方说有些人就利用爬虫+一些黑客技术每秒钟对着bb撸上十万八千次那这个肯定是不被允许的。

爬虫分为善意的爬虫和恶意的爬虫：

  • 善意的爬虫：不破坏被爬取的网站的资源 (正常访问，一般频率不高，不窃取用户隐私)
  • 恶意的爬虫：影响网站的正常运营 (抢票，秒杀疯狂solo网站资源造成网站宕机)

综上，为了避免进橘子我们还是要安分守已时常优化自己的爬虫程序避免干扰到网站的正常运行，井且在使用爬取到的数据时，发现涉及到用户隐私和商业机密等敏感内容时，一定要及时终止爬取和传播。

4. 爬虫的矛与盾

反爬机制：门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取户网站中相关的数据。个人建议：别强行反反爬，可能会已经涉及恶意爬虫=

robots.txt协议：君子协议，规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

在这里插入图片描述

5. 爬虫原理图 and 流程图

爬虫原理图：

在这里插入图片描述

爬虫流程图：

在这里插入图片描述

二、相关技术介绍

1. HTML 与 CSS

（1）HTML全称 “超文本标记语言"，与程序设计语言有所区别，无逻辑结构，采用标记方式进行网页构建，使用<>将标记括起来
在这里插入图片描述

HTML标签如下：

标签名说明
<p>段落标记
<a>超链接
href超链接地址
<img>图片
src图片存放路径
<span>行内标签
<li>列表项
<div>划分HTML块
<table>表格标记
<tr>行标记
<td>列标记
h1~h6标题

（2）CSS基础

  • 层叠样式表
  • 控制HTML页面的样式和布局
  • 使用{}将样式定义括起来

CSS选择器：

  • 元素选择器（了解）：元素选择器根据元素名称来选择HTML元素
    在这里插入图片描述
  • id选择器（重要）：使用HTML元素的id属性来选择唯一特定元素
    在这里插入图片描述
  • 类选择器（非常重要）选择有特定class属性的HTML元素
    在这里插入图片描述
  • 案例（选中标题）：先找到div class='p12'，在取下面a标签下的文字即可
    在这里插入图片描述

2. URL网址解释

案例网址：https://baike.baidu.com/item/%E8%99%8E/865?fromtitle=%E8%80%81%E8%99%8E&fromid=65781

URL(网址)是Uniform Resource Locator的简写，统一资源定位符。URL由以下几部分组成：

  • 1、协议的类型。如：https
  • 2、主机名称/域名。如：baike.baidu.com
  • 3、端口号
  • 4、查找路径。如：865？
  • 5、查询参数（为？后所有内容）。如：fromtitle=%E8%80%81%E8%99%8E&fromid=65781，采用键值对形式，多个键值对用&隔开
  • 6、锚点，前端用来做面定位的。现在一些前后端分离项目，也用锚点来做导航
    • 前端定位：https://baike. baidu.com/item/*E5488%98%E8%8BKA5%E8%88%B1#2
    • 锚点导航：动的是#之后的内容，根据错点去请求数据 https://music.163.com/#/friend

3. HTTP 与 HTTРS

HTTP协议：全称是HyperText Transfer Protocal ，中文意思是超文本传输协议，是一 种发布和接收HTML (HyperText Markuup Language)页面的方法。服务器端口号为：80

HTTPS协议：全称: Hyper Text Transfer Protocol over SecureSocket Layer，是 HTTP协议的加密版本，在HTTP下加入了SSL层， 服务器端口号是：443

更多知识点参考：图解网络协议

（1）常见请求方式

http协议规定了浏览器与服务器进行数据交互的过程中必须要选择一种交互的方式。在HTTP协议中，定义了八种请求方式，常见的有get请求与post请求。

GET请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求

在这里插入图片描述

POST请求：向服务器发送数据(登录)、、上传文件等，会对服务器资源产生影响的时候会使用Post请求。请求参数在 Form Data中

在这里插入图片描述

（2）常见请求头

http协议中，向服务器发送-一个请求，数据分为三部分：

  • 第一个是把数据放在urI中
  • 第二个是把数据放在body中(post请求时)
  • 第三个就是把数据放在head中

常见的请求头参数（非常重要）：

  • user-agent：浏览器名称
  • referer：表明当前这个请求是从哪个url过来的
  • Host：主机地址
  • cookie（如果上面的都不行可以试试加上cookie）：http协议是无状态的。也就是同一个人发送了两次请求。服务器没有能力知道这两个请求是否来自同一个人。而带上cookie就识别为登录过的用户或者同一个请求两次

（3）常见请求状态码

  • 200：请求正常，服务器正常的返回数据
  • 301：永久重定向。比如访问 http://www.360buy.com （京东以前的网址）的时候会重定向到：https://www.jd.com/
  • 404：请求的url在服务器 上找不到，换句话说就是请求的url错误.
  • 418：发送请求遇到服务器端反爬虫，服务器拒绝响应数据
  • 500：服务器内部错误，可能是服务器出现了bug

4. Chrome浏览器分析网站

打开谷歌浏览器：右键 - 》 检查

  • Elements：可以帮助我们分析网页结构，获取我们想要的数据
  • Console控制台：打印输出网站的一-些信息，比如说网站的招聘信息
  • Sources：相当于一个文件夹一样，加载这个网页所需要的所有的源文件,除了Elements的源代码之外，还有一些CSS文件、JS文件等。
  • Network：查看整个网页发送的所有网络请求。一般我们想要去查看某- 个请求的信息，都可以到这里面去看

在这里插入图片描述

5. Session与Cookie

Session与Cookie是用于保持HTTP长时间连接状态的技术

Session：

  • Session代表服务器与浏览器的一次会话过程。
  • Session是一 种服务器端的机制，Session对象用来存储特定用户会话所需的信息。
  • Session由服务器端生成，保存在服务器的内存、缓存、硬盘或数据库中。

在这里插入图片描述
Cookie：是由服务端生成后发送给客户端(通常是浏览)， Cookie总 是保
存在客户端

Cookie的基本原理：

  • 1、创建Cookie
  • 2、设置存储Cookie
  • 3、发送Cookie
  • 4、读取Cookie

6. Ajax请求

  • Ajax在浏览器与Web服务器之间使用异步数据传输。这样就可以使网页从服务器请求少量的信息，而不是整个页面。

  • Ajax技术独立于浏览器和平台。

  • Ajax一般返回的是JSON，直接对Ajax地址进行Post或get，就返回JSON数据了

  • 判断是否为Ajax生成数据，看在滚动网页的时候是否发生了刷新，如果页面没有刷新说明数据自动生成，就是Ajax渲染到界面上的

在这里插入图片描述

袁袁袁袁满
关注
  • 109
    点赞
  • 踩
  • 229
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 123
    评论
专栏目录
订阅专栏
爬虫学习（3）：两万字零基础爬虫requests初阶教程，手把手教你爬数据
全栈川川
10-13 3万+
文章目录一、环境与工具二、学爬虫必备知识三、requests体验四、get 请求3.1 基础讲解一3.3 基础讲解二3.2 基础讲解三3.4 获取cookie3.5 获取请求头3.6 添加请求头3.5 知乎爬取+反扒技术3.6 抓取二进制数据3.6.1 示例一3.6.2 示例二3.7 美女私房照爬取（ 准备发车）四、 POST 请求4.1 数据表单提交4.2 添加请求头4.3 提交json4.4 普通文件上传五、总结 一、环境与工具 环境：jupyter 如果你没有安装该工具和不会使用，请看这一篇文章：py
Python爬虫开发：从入门到实战(微课版).pptx
06-12
Python爬虫开发：从入门到实战（微课版） 读书笔记模板 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第1页。 01 思维导图 读书笔记 目录分析 内容摘要 精彩摘录 作者介绍 目录 03 05 02 04 06 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第2页。 思维导图 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第3页。 爬虫 版 爬虫 内容 实战 开发 章 末尾 小结 阶段 案例 爬虫 第章 基础 安装 应用 运行 环境 数据结构 本书关键字分析思维导图 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第4页。 内容摘要 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第5页。 内容摘要 本书较为全面地介绍了定向爬虫的开发过程、各种反爬虫机制的破解方法和爬虫开发的相关技巧。全书共13章，包括绪论、Python基础、正则表达式与文件操作、简单的网页爬虫开发、高性能HTML内容解析、Python与数据库、异步加载与请求头、模拟登录与验证码、抓包与中间人爬虫、Android原生App爬虫、
Python爬虫——总结小知识点
12-22
urllib入门 mport urllib.request #向指定的url地址发送请求，并返回服务器响应的类文件对象 response = urllib.request.urlopen("http://www.baidu.com/") #服务器返回的类文件对象支持python文件对象的操作方法 #read()方法就是读取文件里面的全部内容，返回字符串 #此方法的缺点是不能构造，headers不能添加 #所以如下 headers = { "User-Agent":"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11
零基础Python爬虫从入门到精通-视频教程网盘链接提取码下载 .txt
02-21
本套视频教程适合想掌握爬虫技术的学习者，以企业主流版本Python 3.7来讲解，内容包括：Python基础、Urllib、解析（xpath、jsonpath、beautiful）、requests、selenium、Scrapy框架等。针对零基础的同学可以从头学起，具备Python基础的同学建议直接从第52集开始学习爬虫部分视频。教程中示例了多种网站的爬取，包括设计类网站、招聘类网站、图书类网站、图片素材类网站等，还讲解了验证码的破解和常见的打码平台使用。 视频大小：19.8 G
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑以下各方法的基础方法 requests.get（） 获取HTML网页的主要方法，对应于HTTP的GET requests.head（） 获取HTML网页头信息的主要方法，对应于HTTP的HEAD requests.post（） 向HTML页面提交POST请求的方法，对应于HTTP的POST requests.put（） 向HTML页面
Python爬虫教程 - 100天从新手到大师（01Day）
海风
09-12 2097
爬虫的本质就是模拟客户端(正常的用户)发送网络请求，获取对应的响应数据。
学Python爬虫大概需要多久？
z099164的博客
02-27 4102
Python爬虫需要学多久
Python爬虫要学多久
Z987421的博客
03-03 5136
Python爬虫需要学多久
python爬虫多久能学会-不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据...
weixin_37988176的博客
10-30 1491
原标题：不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据 Python爬虫为什么受欢迎如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：知乎：爬取优质答案，为你筛选出各话题下最优...
python多久能学会爬虫-真实经历丨从零开始做爬虫，需要多久？
weixin_37988176的博客
11-01 6078
1▲真实经历，从一点儿不懂到懂了一点儿，需要两周。两周前，我参加了一个线上编程比赛。两周时间，要求一个没有编程基础的人，从零开始独立完成一个project。正好手头毕业论文要求使用爬虫采集数据，就顺势参加了这次比赛。从没头没脑的开始，到最后莫名其妙的完成，过程还是很艰难的。刚开始的时候非常痛苦，每天要盯着看不懂的代码四五个小时，甚至惨到连编辑器pycharm都不会用...两天三天过去了还是没有进展...
python爬虫从入门小白到精通，10分钟就够了
Z987421的博客
11-14 562
爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。
python最快多久学会,python学成需要多久
神器榜
09-22 2996
要学会用Python干活，还需要学习Python的各种库，它的强大在于库，原因是Python的库可以用Python，c语言，c++等设计，再提供给Python使用，所以无论gpu运行，神经网络，智能算法，数据分析，图像处理，科学计算，各式各样的库在等着你用。自学的话，根据每个人的情况来说，学习周期是不同的，如果没有任何基础，零基础小白进行Python学习的话，需要先进行简单的Python基础知识学习，就需要三个月左右的时间，再进行爬虫知识的学习，少则半年左右。不要怕没有基础，边做边查边学，进步很快的。
自学Python来做出一个能爬些信息的爬虫需要多久时间呢？
热门推荐
xiaoxianerqq的专栏
10-16 1万+
转自：https://www.wukong.com/answer/6612508984584700174/?iid=46403125925&amp;app=news_article&amp;share_ansid=6612508984584700174&amp;app_id=13&amp;tt_from=mobile_qq&amp;utm_source=mobile_qq&amp;utm_medi...
Python爬虫自学要多久？
anmily7788的博客
12-05 4419
每种语言都有它的优势所在。比如说，用Javascript编写动态网页，用Python去做爬虫抓取大数据、分析处理、数据可视化呈现。用C语言去驱动单片机，编写操作系统。用C++去制作画面精美的吃鸡游戏等等。 C++的优势就是可以用它来编写功能复杂，业务逻辑繁琐，实时性要求高的项目。六星教育整理为什么要学习C++，学好C++可以做什么？相关资料，希望对大家有帮助。 1和学生求职、升职有关系 像国内的N...
深度学习基础：循环神经网络中的Dropout
weixin_39753819的博客
04-24 211
Dropout是一种用于深度学习模型的正则化技术，旨在减少模型的过拟合。它的基本思想是在训练过程中，随机地将一部分神经元的输出置为零，从而减少神经元之间的相互依赖关系，降低模型对特定神经元的依赖性，提高模型的泛化能力。本文介绍了Dropout在深度学习中的基本概念和原理，以及在循环神经网络中如何使用Dropout来解决过拟合问题。通过一个简单的Python示例，我们演示了如何在PyTorch中实现带有Dropout的循环神经网络，并观察了训练过程中的损失变化。
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 38
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
十大排序算法详解-上篇：比较排序算法【python 动态图解】
10年数据\经营分析经验，现任大厂数据分析负责人
04-21 740
对比四种常见排序算法深入掌握算法精髓
100天精通python(基础篇)——第6天:函数无 羡
08-10
函数是一段封装了特定功能的代码块，可以重复调用。无论是编写程序还是解决问题，函数都是非常重要的工具。了解并熟练使用函数对于精通Python的基础篇来说十分重要。 在Python中，函数的定义以关键字"def"开头，后面是函数的名称和参数列表。参数列表用于接收调用函数时传递的参数。在函数体内部，通过缩进来组织函数代码，并使用return语句返回函数的结果。 函数的优势体现在以下几个方面： 1. 代码的重用性：可以将一段常用的代码封装成函数，以便在其他地方重复使用，提高了代码的可读性和可维护性。 2. 简化程序结构：函数可以将复杂的问题分解为多个简单的小问题，使程序结构更加清晰，易于理解和修改。 3. 提高代码的可测试性：函数是模块化的单元，可以独立测试和验证，减少了程序出错的可能性。 在编写函数时，要注意以下几点： 1. 函数名称要有意义，能够表达函数的功能。 2. 参数列表可以根据需要进行定义，可以有多个参数，也可以没有参数。 3. 函数的代码要尽量简洁、清晰，避免冗余和重复的部分。 4. 在函数内部，可以使用局部变量来保存中间结果，避免对全局变量的过多依赖。 总之，函数是编程中不可或缺的组成部分，掌握了函数的使用，就掌握了解决问题的利器。在后续的学习中，我们将进一步学习函数的高级应用，如函数的递归调用、函数的参数传递等。通过不断的实践和练习，相信不久的将来，我们就能够精通Python的基础篇。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 123
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

袁袁袁袁满

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值