失心疯_2023
一个无知的学习者...
展开
-
010.Python爬虫系列_requests库详解(重点)
常用方法requests.get() # 发送get请求# 请求参数可以直接放在url的?后面,也可以放在字典里,传递给params参数requests.post() # 发送post请求# 请求参数要放在字典中,然后传递给data参数requests有两个响应对象response响应对象包含:响应行、响应头、空行、响应体(通过content、text、json获取)原创 2024-09-04 08:00:00 · 1232 阅读 · 0 评论 -
011.Python爬虫系列_bs4解析
通过学习requests库,我们现在可以通过代码对网址发送请求,并且获取到网址的响应内容但是,我们获取到的是整个页面的源代码,并不仅仅只有我们想要的内容,里面包含了很多其他不需要的内容那么,我们想要获取到想要的内容,就要开始学习内容解析相关的库了常用响应内容解析库1. bs4 2. xpath 3. re . . .这些库没有说哪个最好,根据个人喜好,习惯用哪个就用哪个。原创 2024-09-02 21:34:13 · 170 阅读 · 0 评论 -
009.Python爬虫系列_urllib模块案例
urllib库的示例就写到这里吧,各种无厘头的问题,感觉要崩溃了…案例:拿到指定网址中“python"相关的数据内容。网址:https://www.runoob.com/直接学习最常用的网络请求库requests…原创 2024-09-03 08:00:00 · 20 阅读 · 0 评论 -
008.Python爬虫系列_urllib模块(了解)
urllib库是Python内置的最基本的网络请求库,不需要额外的下载提供直接发送HTTP请求,及时处理HTTP响应的API在后续的爬虫中主要还是使用requests库来进行HTTP请求,但是requests库底层还是基于urllib库,所以先学习urllib库,有助于理解requests库。原创 2024-09-02 10:00:00 · 34 阅读 · 0 评论 -
007.Python爬虫系列_初识爬虫
概念爬虫就是通过编写程序来爬取互联网上的优秀资源(图片, 音频, 视频, 数据)爬取的一定是 能看见的东西, 公开的一些东西.原创 2024-09-02 09:00:00 · 113 阅读 · 0 评论 -
006.Python爬虫系列_Web前端基础HTML+CSS
其他素标签:section、article、footer等,对于爬虫来讲,就可以看成是div素标签。点击提交按钮之后,会将form标签内所有用户填入的内容按下面的格式发送给action指定的服务器。CSS的基本语法由选择器、属性、属性的值组成,如果选择器有多个属性,由分号隔开。/* before在指定标签内容之前添加内容,并设置样式 *//* after在指定标签内容之后添加内容,并设置样式 */注意:这里的代码都是英文格式,例如花括号、冒号和分号。/*设置所有标签为黑底黄字,包含body标签*/原创 2024-09-01 09:30:00 · 132 阅读 · 0 评论 -
005.Python爬虫系列_浏览器开发者工具(详解)
Elements(元素)分析当前页面节点,用来辅助书写BS或者XPath这里面的数据与源代码有区别,不一定准确(避坑)Console(控制台)这个除了查看错误信息、打印调试信息(console.log())、写一些测试脚本以外,还可以当作Javascript API查看用例如我想查看console都有哪些方法和属性,我可以直接在Console中输入"console"并执行后续学js逆向的时候需要用到Sources(源代码)与在网页页面,鼠标右键——查看网页源代码 内容一致。原创 2024-09-01 09:00:00 · 42 阅读 · 0 评论 -
004.Python爬虫系列_web请求全过程剖析(重点)
本小节给各位好好剖析一下web请求的全部过程,这样有助于后面我们遇到的各种各样的网站就有了入手的基本准则了.那么到底我们浏览器在输入完网址到我们看到网页的整体内容,这个过程中究竟发生了些什么?这里我们以百度为例在访问百度的时候,浏览器会把这一次请求发送到百度的服务器(百度的一台电脑),由服务器接收到这个请求, 然后加载一些数据. 返回给浏览器, 再由浏览器进行显示听起来好像是个废话…但是这里蕴含着一个极为重要的东西在里面注意。原创 2024-08-31 07:15:00 · 919 阅读 · 0 评论 -
003.Python爬虫系列_HTTP&HTTPS协议
第三方通过服务器的公钥,对服务器的加密响应数据进行解密,对响应数据进行篡改之后,通过自己的私钥进行加密。客户端接收到第三方篡改后的加密数据,使用第三方的公钥进行解密(可以正常解密数据,无法发现数据被篡改)如果一开始,客户端拿到的公钥就是第三方的,第三方通过自己的私钥,可以解密客户端的请求内容。然后第三方再通过服务器的公钥对请求内容进行加密,发送给服务器。第三方获取到了公钥,也无法对客户端发送的请求内容进行解密,无法查看到请求内容。客户端发送的请求内容,通过公钥进行加密,需要私钥才能解密。原创 2024-08-31 07:00:00 · 299 阅读 · 0 评论 -
002.Python爬虫系列_初识协议
TCP协议,客户端每次传输数据包给服务器之后,服务器都要回传信息给客户端,告诉客户端有没有接收成功,成功之后再继续传下一个数据包。TCP协议是面相连接,在一开始就会确定一条通道(1——2——3——5——8),后续所有的数据包全部都按这一条通道线路传输。而在所有步骤中的协议集合称为"TCP/IP协议栈"(是一个协议栈,由很多相关协议组成,并非是某一个单独协议)UDP协议是无连接,每一次的数据包传输的通道都不固定,每一次的传输通道都可能不同,是不确定的。我们的关注点应该是:应用层(掌握)+传输层(了解)原创 2024-08-30 17:28:43 · 456 阅读 · 0 评论 -
001.Python爬虫系列_网络基础
原因:同一个IP地址可能对应多个不同的站点。单靠IP地址无法确定是哪个网站。计算机之间通讯,即使我们使用的是域名,但是最终还是通过IP地址。在测试时,会出现通过域名可以访问网站,但是通过IP地址不能访问。原创 2024-08-30 17:28:14 · 502 阅读 · 0 评论