Python网络爬虫

最新推荐文章于 2024-03-01 11:52:11 发布
最新推荐文章于 2024-03-01 11:52:11 发布
阅读量366 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45194982/article/details/111463159
版权

爬虫简介

  • 是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
  • 请求网站并提取数据的自动化程序

爬取网页的基础知识-HTTP协议

  • 在1990年，HTTP就成为WWW的支撑协议。当时由其创始人WWW之父蒂姆·贝纳斯·李（TimBerners—Lee）提出，随后WWW联盟（WWW Consortium）成立，组织了IETF（Internet Engineering Task Force）小组进一步完善和发布HTTP协议。http是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII码形式给出；而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣，因为它使开发和部署非常地直截了当。

HTTP协议概述

  • HTTP协议是基于B/S架构进行通信的，而HTTP协议的服务器端实现程序有httpd、nginx等，其客户端的实现程序主要是Web浏览器，例如Firefox、InternetExplorer、Google
    chrome、Safari、Opera等，此外，客户端的命令行工具还有elink、curl等。Web服务是基于TCP的，因此为了能够随时响应客户端的请求，Web服务器需要监听在80/TCP端口。这样客户端浏览器和Web服务器之间就可以通过HTTP协议进行通信了。

HTTP工作过程

（1）客户与服务器建立连接；
（2）客户向服务器提出请求；
（3）服务器接受请求，并根据请求返回相应的文件作为应答；
（4）客户与服务器关闭连接。

HTTP工作过程

  • HTTP协议是基于请求/响应范式的。一个客户机与服务器建立连接后，发送一个请求给服务器，请求方式的格式为，统一资源标识符、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。服务器接到请求后，给予相应的响应信息，其格式为一个状态行包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。其实简单说就是任何服务器除了包括HTML文件以外，还有一个HTTP驻留程序，用于响应用户请求。

爬虫过程

  • 发起请求
    通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
  • 获取响应内容
    如果服务器能正常响应，会得到一个Response，获得的页面内容有Html，Json字符串，二进制数据（如图片，视频等）
  • 解析内容
    得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
  • 保存数据
    保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。

Request与Response

（1）浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request。
（2）服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。
（3）浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示。

爬取网页的基础知识-HTTP请求方法

  • HTTP1.0 定义了三种请求方法： GET, POST 和 HEAD方法。
  • HTTP1.1 新增了六种请求方法：OPTIONS、PUT、PATCH、DELETE、TRACE 和 CONNECT 方法。
    GET提交的数据会放在URL之后，也就是请求行里面，以?分割URL和传输数据，参数之间以&相连，如EditBook?name=test1&id=123456.（请求头里面那个content-type做的这种参数形式，后面讲） POST方法是把提交的数据放在HTTP包的请求体中.
    GET提交的数据大小有限制（因为浏览器对URL的长度有限制），而POST方法提交的数据没有限制.

爬取网页的基础知识-HTTP状态码

  • 所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码，以及描述状态的短语，彼此由空格分隔。
    在这里插入图片描述

爬取网页的基础知识-URL

在WWW上，每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL（Uniform Resource Locator,统一资源定位器），它是WWW的统一资源定位标志，就是指网络地址。
URL由三部分组成：资源类型、存放资源的主机域名、资源文件名。
也可认为由4部分组成：协议、主机、端口、路径
在这里插入图片描述

HTML与JavaScript基础-网页结构

1.网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript（活动脚本语言）。
2.HTML是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于 HTML 的标签，并且标签都是成对出现的。
3.常见的标签如下
在这里插入图片描述
4.CSS
CSS 表示样式，＜style type=＂text/css＂＞表示下面引用一个 CSS，在 CSS 中定义了外观。
5. JScript 表示功能。交互的内容和各种特效都在 JScript 中，JScript 描述了网站中的各种功能。
如果用人体来比喻，HTML 是人的骨架，并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS 是人的外观细节，如嘴巴长什么样子，眼睛是双眼皮还是单眼皮，是大眼睛还是小眼睛，皮肤是黑色的还是白色的等。JScript 表示人的技能，例如跳舞、唱歌或者演奏乐器等。

爬虫的合法性

每一个网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取的数据
在这里插入图片描述

爬取网页的urllib库

1.urllib库
Python3.x标准库urllib提供了urllib.request、urllib.response、urllib.parse和urllib.error四个模块，很好地支持了网页内容读取功能。再结合Python字符串方法和正则表达式，可以完成一些简单的网页内容爬取工作，也是理解和使用其他爬虫库的基础。
2. 使用urllib库获取网页信息
使用 urllib.request.urlopen()函数可以打开一个网站，读取并打印网页信息。
urllib.urlopen(url, data[, proxies])
urlopen()函数返回response对象
函数的参数url表示远程数据的路径；data表示提交到url的数据；proxies用于设置代理。
response对象的方法
info()方法： 返回一个httplib.HTTPMessage对象。
getcode()方法：返回HTTP状态码。如果是HTTP请求，200表示请求成功完成，404表示网址未找到。
geturl()：返回请求的url。

urllib的基本应用

1.读取并显示网页内容
在这里插入图片描述
2.提交网页参数
（1）下面的代码演示了如何使用GET方法读取并显示指定url的内容。
在这里插入图片描述
（2）使用POST方法提交参数并读取指定页面内容。
在这里插入图片描述
3.使用HTTP代理访问页面
在这里插入图片描述

urllib爬虫案例

爬取公众号文章中的图片。

  • 第1步 确定公众号文章的地址，以微信公众号“Python小屋”里的一篇文章为例，文章标题为“报告PPT（163页）：基于Python语言的课程群建设探讨与实践”，地址为：

https://mp.weixin.qq.com/s?__biz=MzI4MzM2MDgyMQ==&mid=2247486249&idx=1&sn=a37d079f541b194970428fb2fd7a1ed4&chksm=eb8aa073dcfd2965f2d48c5ae9341a7f8a1c2ae2c79a68c7d2476d8573c91e1de2e237c98534&scene=21#wechat_redirect

  • 第2步 在浏览器（以Chrome为例）中打开该文章，然后单击鼠标右键，选择“查看网页源代码”，分析后发现，公众号文章中的图片链接格式为：
    在这里插入图片描述
  • 第3步 根据前面的分析，确定用来提取文章中图片链接的正则表达式：

pattern = ‘data-type=“png” data-src="(.+?)"’

  • 第4步 编写并运行Python爬虫程序，代码如下：
    在这里插入图片描述

爬取网页的requests库

  1. requests库概述
    简洁的处理HTTP请求的第三方库，建立在Python的urllib3库基础上，是对urllib3库的再封装。
  • requests库包括URL获取、HTTP长连接和连接缓存、自动内容解码、文件分块上传、连接超时处理、流数据下载等功能。
  1. requests库解析
  • requests库的requests.get()方法功能是网络爬虫和信息提交
    res=requests.get(url[,timeout=n])
  • 该函数返回的网页内容会保存为一个response对象。参数url必须采用HTTP或HTTPS方式访问，可选参数timeout用于设定每次请求超时时间。
  • requests.get() 返回的response对象代表响应。response对象的主要属性如下。
    ● statuscode：返回HTTP请求的状态，200表示连接成功，404表示失败。
    ● text：HTTP响应内容的字符串形式，即url对应的页面内容。
    ● encoding：HTTP响应内容的编码方式。
    ● content：HTTP响应内容的二进制形式。
    Response对象提供了两个方法。
  • json()：如果HTTP响应内容包含JSON格式数据，则该方法解析JSON数据。
  • raise_for_status()：如果status_code值不是200，则产生异常。

requests基本操作

（1）增加头部并设置访问代理
在这里插入图片描述
（2）访问网页并提交数据
在这里插入图片描述
application/json; charset=utf-8
在这里插入图片描述
gzip

（3）获取和设置cookies
使用get()方法获取网页信息时cookies属性的用法：
在这里插入图片描述

拾鸭
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Web安全深度剖析
08-31
《Web安全深度剖析》总结了当前流行的高危漏洞的形成原因、攻击手段及解决方案，并通过大量的示例代码复现漏洞原型，制作模拟环境，更好地帮助读者深入了解Web 应用程序中存在的漏洞，防患于未然。 《Web安全深度剖析》从攻到防，从原理到实战，由浅入深、循序渐进地介绍了Web 安全体系。全书分4 篇共16 章，除介绍Web 安全的基础知识外，还介绍了Web 应用程序中最常见的安全漏洞、开源程序的攻击流程与防御，并着重分析了"拖库"事件时黑客所使用的攻击手段。此外，还介绍了渗透测试工程师其他的一些检测方式。 《Web安全深度剖析》最适合渗透测试人员、Web 开发人员、安全咨询顾问、测试人员、架构师、项目经理、设计等人员阅读，也可以作为信息安全等相关专业的教材。
WEB手成长之路——《WEB安全深度剖析》学习笔记
nobody_s_captain的博客
09-23 481
《WEB安全深度剖析》学习笔记基础篇HTTP请求流程HTTP协议报文格式HTTP请求HTTP响应HTTP头HTTP与HTTPS的区别 基础篇 计划使用一天（2020.9.23）时间完成 HTTP请求流程 web2.0时代，由C/S架构转变为B/S架构（浏览器/服务器） 书中写的http1.1而2014年12月，互联网工程任务组（IETF）的Hypertext Transfer Protocol Bis（httpbis）工作小组将HTTP/2标准提议递交至IESG进行讨论，于2015年2月17日被批准。
【web安全深度剖析】1.1 Web安全简介
qq_40785722的博客
03-08 7253
【web安全深度剖析】1.1 Web安全简介 【web安全深度剖析】 1. 服务器是如何被入侵的 渗透的必要条件是：攻击机通过服务器提供的端口服务和服务器进行正常的通信。过去的黑客攻击方式大多数都是针对目标进行的，现在已转移到Web之上。 构成Web的四个要素：数据库、编程语言、Web容器、Web应用程序的设计者 攻击者直接对目标下手一般有三种手段： C段渗透：通过ARP等手段对同一网段内的一台主机进行渗透 社会工程学：高级手段 Services：主要手段 2. 如何更好的学习web安全 根据应用
【学习笔记】《Web安全深度剖析》整理
小张同学的博客
01-03 6220
参考书：《Web安全深度剖析》 1.1 服务器如何被入侵？ 渗透条件：与服务器通过端口正常通信。 web应用程序（客户端，一般为浏览器）默认运行在80端口上。 渗透服务器，一般有三种手段： C段渗透：渗透同一网段的主机对目标主机进行ARP等渗透。 社会工程学： 服务：直接针对服务进行溢出。 随着Web2.0时代到来，互联网从C/S（客户端/服务器）架构变为B/S（浏览器/服务器）架构。Web请求基于HTTP协议。 2.1 HTTP协议解析 2.1. 1 发起HTTP请求 输入URL，就发起了HTT.
SOCKS55代理与Http代理有何区别？如何选择？
最新发布
03-01 1327
在使用IPFoxy全球代理时，选择 SOCKS55代理还是HTTP代理？IPFoxy代理可以SOCKS55、Http协议自主切换，但要怎么选择？为解决这个问题，得充分了解两种代理的工作原理和配置情况。
Python网络爬虫代码
10-09
【Python网络爬虫代码】是基于Python3编程语言实现的一款数据抓取工具，主要用于从互联网上，特别是百度百科这类网站，自动获取指定网页中的信息。爬虫技术在信息技术领域扮演着重要角色，它能帮助我们高效地提取...
Python网络爬虫实战.pdf
07-12
本书从Python的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。本书从实战出发，根据不同的需求选取不同的爬虫，有针对性地讲解了几种Python网络爬虫。本书共8章，涵盖的内容有Python语言的...
2：python网络爬虫权威指南_python网络爬虫权威指南_python爬虫指南_
09-29
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
Python网络爬虫是一种用于自动化网页数据抓取的技术，它能够高效地从互联网上获取大量信息。本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。...
Python网络爬虫实习报告.pdf
05-29
Python网络爬虫是一种用于自动化获取网页内容的技术，广泛应用于数据挖掘、信息监控、自动化测试等领域。在本实习报告中，我们将深入探讨Python网络爬虫的相关知识，并通过实例演示如何使用Python爬虫框架来爬取豆瓣...
【web安全深度剖析】学习记录
m0_46152753的博客
04-22 123
开始学习web安全，从《Web安全深度剖析》一书开始
Web安全深度剖析-笔记
qq_30378851的博客
11-20 3334
Web安全深度剖析-笔记 文章目录Web安全深度剖析-笔记HTTP基础知识http请求方法http状态码http消息头（字段）截取HTTP请求搜索引擎劫持SQLmap注入注入基础知识使用DVWA来练习使用sqlmapSQLmap基本使用方法更多的选项简述利用过程其他常用的参数用法SQLmap能检测到的注入类型其他检测SQL注入的工具上传漏洞WEB解析漏洞简介IIS6.0解析漏洞APACHE漏洞PH...
socks5和http协议有什么区别
smallfatman的博客
07-25 635
如果需要通过代理服务器访问多种协议的资源，或者需要更好的安全性和隐私保护，可以考虑使用Socks5协议。而Socks代理（如Socks5）是一种通用代理协议，支持多种协议的传输，包括HTTP、FTP、SMTP等。功能：HTTP协议是应用层协议，提供了丰富的功能，例如请求和响应报文格式、缓存、Cookie管理等。而Socks5协议是传输层协议，主要提供了代理和转发功能，通过代理服务器进行数据传输。用途：HTTP是超文本传输协议，主要用于在Web浏览器和服务器之间传输数据，以获取Web页面和资源。
SOCKS5代理和http代理有什么区别
weixin_45418665的博客
12-31 4808
1、概念不同 （1）socks5代理，采用socks协议的代理服务器，是一种通用的代理服务器。 （2）http proxy，采用http协议代理服务器，主要代理浏览器访问网页。 2、代理速度不同 （1）http代理工作在应用层上，只允许用户通过HTTP协议访问外部网站。 （2）Socks5代理工作在会话层，不要求应用程序遵循特定的操作系统平台，Socks5代理只是简单地传递数据包，而不必关心是何种...
http，socks5，socks4代理的区别
热门推荐
不倒的向日葵
05-02 2万+
HTTP代理：能够代理客户机的HTTP访问，主要是代理浏览器访问网页，它的端口一般为80、8080、3128等；SOCKS代理：SOCKS代理与其他类型的代理不同，它只是简单地传递数据包，而并不关心是何种应用协议，既可以是HTTP请求，所以SOCKS代理服务器比其他类型的代理服务器速度要快得多。 SOCKS代理又分为SOCKS4和SOCKS5，二者不同的是SOCKS4代理只支持TCP协议（即传输...
代理服务器对比：SOCKS5和HTTP代理
weixin_37841024的博客
01-14 416
SOCKS5 是在传输层（TCP 或 UDP）上操作的代理协议，可以直接处理 TCP 和 UDP 流量。- SOCKS5 代理通常更加灵活，可以支持多种协议和应用，包括传输任何 TCP 或 UDP 流量。- HTTP 代理则是在应用层（HTTP 协议）上操作的代理协议，主要用于处理 HTTP 流量。- 由于 SOCKS5 在传输层操作，它通常比 HTTP 代理具有更高的性能和更低的延迟。- HTTP 代理主要用于处理 HTTP 流量，通常对其他协议的支持有限。
Http代理与socks5代理有何区别？如何选择？（二）
11-02 809
上篇文章我们基本分别了解了http代理与socks5代理的定义与优缺点，接下来我们继续来了解http代理与socks5代理之间的比较与区别。
web安全深度剖析
qq_44902553的博客
09-06 859
web安全深度刨析阅读笔记
《web安全深度剖析》学习笔记①
weixin_51614848的博客
05-13 456
参考书籍：《web安全深度剖析》张炳帅 著 第一章 Web安全简介 （1）攻击者对计算机渗透的一个必需条件：攻击者的计算机能与服务器正常通信。服务器依靠端口与客户端通信，攻击者入侵也是靠端口，或者说是计算机提供的服务。 （2）web四个要点：数据库（存储数据），编程语言（将设计变为真实的存在），web容器（作为终端解析用户请求和脚本语言），优秀的web程序设计者（设计个性化的程序）。 （3）攻击者所掌握的部分技能图： （4）作者认为不错的一些编程语言及应用领域 第二章 深入http请求流程 1.HT
Python网络爬虫实战指南
"用Python写网络爬虫.pdf" 本书是一本由澳大利亚作者Richard Lawson撰写的...通过本书，读者不仅可以学习到Python网络爬虫的基础知识，还能了解到高级技巧和最佳实践，从而能够编写出高效且适应性强的网络爬虫程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值