- 博客(18)
- 资源 (7)
- 问答 (2)
- 收藏
- 关注
原创 [python]取指定路径下的文件夹名,有一级子目录的情况去除父目录
【代码】[python]取指定路径下的文件夹名,有一级子目录的情况去除父目录。
2024-03-29 15:56:06
326
1
原创 6.2.抓包工具简介
HTTP Analyzer 是一款实时捕捉分析 HTTP/HTTPS 协议数据的工具,可以显示许多信息(包括文件头、内容、Cookie、查询字符串、提交的数据、重定向的 URL 地址 ),可以提供缓冲区信息、清理对话内容、HTTP 状态信息和其他过滤选项。同时还是一个非常有用的分析、调试和诊断的开发工具。捕捉过滤器是数据经过的第一层过滤器,它用于控制捕捉数据的数量,以避免产生过大的数据包文件。Wireshark 是捕获机器上的某一块网卡的网络包,当你的机器上有多块网卡的时候,你需要选择一个网卡。
2024-03-12 20:50:27
780
1
原创 6.1.selenium
Selenium 是一个用于自动化 Web 浏览器的工具,它支持多种浏览器,并提供了一组功能强大的 API,用于在浏览器中模拟用户操作。通过使用 Selenium,你可以编写自动化脚本来执行各种 Web 测试任务,如测试 Web 应用程序的功能、性能和兼容性。:首先,你需要安装 Selenium 库。Selenium 提供了不同语言的客户端库,如 Python、Java、JavaScript 等,你可以根据自己的喜好选择合适的语言库进行安装。
2024-03-09 09:31:57
1098
原创 使用request.get获取网页代码不全,解决办法
在这种情况下,需要先进行登录或者添加相应的授权信息(如 cookies、headers)来获取完整内容。,并使用该会话对象来发送登录请求和后续的 GET 请求。会话对象可以在多个请求之间保持 cookie 和其他会话数据,模拟浏览器的会话状态。:在登录请求和后续 GET 请求之后,检查每个响应的状态码。总的来说,这段代码通过创建会话对象、模拟登录认证、保持会话状态等方式,实现了对登录页面和受保护页面的访问。:有时候,网页内容可能会被截断,导致无法获取完整内容。:在发送登录请求时,设置。
2024-03-01 10:54:10
1680
原创 5.3.email操作
发送邮件的协议是stmp,python对stmp的支持,可以发送纯文本邮件。在 Python 中,SMTP(Simple Mail Transfer Protocol)是一种用于发送电子邮件的协议。为了在 Python 中发送电子邮件,我们可以使用smtplibemail。
2024-02-24 20:25:10
193
原创 5.1.json和csv
它接受一个 Python 对象作为参数,并返回一个表示该对象的 JSON 字符串。方法编码 Python 对象为 JSON 字符串时,可以通过传递不同的参数来控制编码的行为。用于读取CSV文件并返回一个迭代器,每次迭代返回一行数据(作为列表),可以通过遍历来逐行处理数据。它接收两个参数:Python 对象和文件对象(或文件名),并将编码后的 JSON 数据写入文件。以上这些参数可以根据您的需求进行调整,以便在编码 JSON 字符串时获得期望的格式和行为。的构造函数,并使用拆分后的参数创建一个新的。
2024-02-24 17:34:53
1859
原创 正则表达式
在这个例子中,我们成功匹配到了文本中的 "100",而不是整个 "100 dollars"。在这个例子中,我们成功匹配到了文本中的 "100",而不包括 "$" 这个符号。要求匹配的数字前面不能紧跟着美元符号"$",因此它会匹配到文本中的 "100",因为 "100" 前面并没有美元符号。这样,如果字符串中包含 "apple" 或 "orange" 中的任意一项,正则表达式就会匹配成功。如果找到了匹配,就会返回一个匹配对象;这个表达式表示匹配以 "a"、"b" 或 "c" 开头,后跟一个数字的字符串。
2024-02-23 15:18:08
865
原创 4.2.常用的HTML解析方法
lxml速度较快,支持XML和HTML的解析和处理,同时也支持XPath查询,适合处理大型文档或复杂的解析任务。总的来说,Beautiful Soup 提供了一个简单而强大的工具,用于解析和提取 HTML 或 XML 文档中的数据。Beautiful Soup 将 HTML 或 XML 文档解析为一个对象化的文档树结构,使用户可以方便地遍历和操作文档中的元素、标签和内容。Beautiful Soup提供了简洁明了的API,可以通过标签名、属性、CSS选择器等方式来定位和提取HTML中的元素和内容。
2024-02-20 17:55:32
1878
1
原创 4.1.浏览器的开发者工具
是一组内置于现代浏览器的工具集,旨在帮助开发人员进行网页开发、调试和性能优化。这些工具提供了丰富的功能和特性,可以对网页的结构、样式、脚本和网络请求进行实时监控、调试和分析。总之,浏览器的开发者工具是一种强大的工具,为开发人员提供了丰富的调试、分析和优化功能,使其能够更高效地开发和调试网页,提升用户体验和性能。具体的使用,找浏览器,按F12,亲自上手体验。
2024-02-19 15:04:06
316
1
原创 3.1.爬虫
网络爬虫(Web Crawler)是一种自动化程序,可以自动地在互联网上浏览和获取信息。它通常会从指定的起始点开始,按照一定规则遍历网页,获取所需数据并进行抓取、解析、存储等操作。
2024-02-18 17:51:01
2786
1
原创 2.2.HTTP关联
HTTP(Hypertext Transfer Protocol)是一种用于传输超文本的应用层协议,它是互联网上应用最为广泛的协议之一。HTTP协议通常用于客户端和服务器之间的通信,客户端发起请求,服务器响应请求并返回相关数据。:HTTP协议是一种无状态协议,即每次请求都是独立的,服务器不会记录前后两次请求之间的状态。为了实现状态管理,可以使用Cookie、Session等机制来维护客户端与服务器之间的状态信息。
2024-02-18 16:14:49
454
1
原创 2.1.w3c标准
网页主要由三部分组成:结构,表现,行为(1)结构化标准语言主要包括XHTML,XML(2)表现标准语言主要包括CSS(3)行为标准主要包括w3c dom, ecmascript等。
2024-02-18 14:24:27
835
1
原创 1.3.网络编程
这里对网络编程,做一个简单的讲述。和其他开发语言一样,python也不例外。python的网络编程,就是在python的程序本身的进程内,连接到指定的服务器进程的通信端口进行通信,所以网络通信,可以看作是两个进程间他通信。在 Python 中进行网络编程可以使用多种模块和库,常用的有socket模块、模块、asyncio库等。这些工具提供了不同级别和方式的网络编程支持,可以根据具体需求选择合适的工具进行开发。・Python 中最基本的网络编程接口・提供了对底层网络通信的接口。
2024-02-17 15:47:29
368
2
原创 1.2.进程和线程
因此,当说“基于libev的快速事件循环,Linux上是epoll机制”时,意味着 libev 在 Linux 系统上使用了 epoll 机制来实现高效的事件通知和事件驱动,从而提供了快速的事件循环能力,适用于构建高性能的异步 I/O 应用程序。在做爬虫程序时,常常会遇到这样的场景,我们想抓取某个网站的所有图片,如果使用多进程的话,一般是一个进程负责抓取图片的链接地址,将链接地址存放到Queue中,另外的进程负责从Queue中读取链接地址进行下载和存储到本地。这在处理大量的网络和IO操作时是非常需要的。
2024-02-16 20:45:09
1890
原创 1.1.IO编程
如果参数是1,i/o操作就是有缓冲的,数据先写到内存里,只有使用flush函数或者close函数才会将数据更新到硬盘上;序列化 (Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。(2)open的第一个参数是文件地址,第二个参数是文件的读写模式。如果参数为大于1的数字,则代表缓存区的大小(单位为字节),如果参数是0,i/o就是无缓冲的,直接将数据写到硬盘上;反过来,把变量的内容,从序列化的对象重新读取到内存,就是反序列化。把内存中的变量,变成可存储或可传输的过程,就是序列化。
2024-02-14 19:03:16
303
关于Java的语句意思问题
2010-10-07
请指教,很急,谢谢
2010-08-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人