- 博客(75)
- 收藏
- 关注
RSS订阅原创 Python爬⾍的监控和⾃动恢复机制
实现爬⾍的监控和⾃动恢复机制是保证⻓期稳定运⾏的关键。这不仅可以及时发现和解决问题，还可以在某些情况下⾃动恢复爬⾍的执⾏。
2024-07-13 11:20:08
542
原创 Python 学习之机器学习库（九）
Pandas是一个数据分析库，提供了数据结构和数据分析工具，使得在Python中进行数据操作更加简单和直观。：Scikit-learn是一个专门用于机器学习的Python库，内置了许多常用的机器学习算法和工具。：TensorFlow是一个开源的机器学习框架，由Google开发，专门用于构建和训练深度学习模型。：NumPy是Python中用于科学计算的基础库，提供了高性能的多维数组对象和相应的操作工具。：另一个高效的梯度提升框架，具有更快的训练速度和更高的效率。
2024-07-07 11:00:00
362
原创 Python 学习之自动化运维技术（八）
综上所述，Python的自动化运维技术通过提供丰富的工具和库支持，使得运维工作更加高效、可靠和灵活。Python的自动化运维技术是指利用Python编程语言和相关工具实现运维工作的自动化，以提高效率、减轻工作负担。Python提供了多种任务调度库（如APScheduler、Celery等），可以编写脚本实现定时执行任务、任务调度和分布式任务等功能。：Python脚本的执行效率高，且易于与各种API和服务集成，实现更复杂的自动化任务。：通过自动化脚本，可以快速完成重复性的任务，减少人工操作时间。
2024-07-06 10:00:00
248
原创 Python 学习之框架(七)
Python的框架种类繁多，每种框架都有其独特的应用场景和优势。选择合适的框架取决于项目的规模、复杂度、团队的熟练度以及项目的具体需求。无论是Web开发、数据分析、机器学习还是网络爬虫，Python都提供了丰富的框架和库来支持开发者的需求。Python的框架是一系列可重用的代码库，它们为开发者提供了构建应用程序所需的基础设施和工具。这些库提供了丰富的GUI组件，适用于需要高度定制化界面的应用程序。是一个强大的异步网络库，能够处理成千上万的连接。是一个现代、快速的Web框架，用于构建API。
2024-07-05 09:54:19
290
原创 Python 学习之网络编程（六）
Python 提供了多种内置库和第三方库来支持网络编程，包括套接字（sockets）编程、异步 I/O、HTTP 客户端和服务器、WebSocket、以及更高级别的网络框架等。在进行网络编程时，了解网络协议（如 TCP/IP、HTTP、WebSocket 等）以及如何处理并发和异步操作是非常重要的。gRPC 是一个高性能、开源和通用的 RPC（远程过程调用）框架，面向移动和 HTTP/2 设计。Twisted 是一个事件驱动的网络引擎，用于构建可扩展的、可维护的、高性能的网络应用程序。
2024-07-03 16:00:00
254
原创 Python 学习之常用第三方库（五）
用于数学、科学和工程的库，包含了许多用于优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理、图像处理、常微分方程求解等的函数。数据处理和分析的库，提供了 DataFrame 和 Series 两种数据结构，支持数据的导入、清洗、转换、统计等操作。数据可视化库，可以绘制各种静态、动态、交互式的图表，包括线图、散点图、柱状图、饼图等。用于数值计算的库，提供了大量的多维数组和矩阵运算的功能，以及相应的数学函数。图像处理库，提供了许多用于图像处理的函数，如裁剪、缩放、旋转、滤镜等。
2024-07-03 11:37:08
355
原创 Python 学习之面向对象（四）
在Python中，面向对象编程是一个核心概念，并得到了广泛的支持。在Python中，这通常是通过方法重写（子类重写父类的方法）来实现的。Python有一些特殊的方法，也称为魔术方法（Magic Methods），它们用于实现特定的功能，如构造函数（封装是隐藏对象的属性和方法的过程，只对外提供必要的接口。一个类可以继承另一个类的属性和方法。继承的子类可以重写父类的方法，也可以添加新的方法。每个对象都是类的一个具体实例，并包含类的所有属性和方法。类是对象的蓝图或模板，它定义了对象应有的属性和方法。
2024-07-01 10:00:00
629
原创 Python 学习之简单的程序（三）
编写简单的Python程序是巩固基础的好方法。下面我将给出几个简单的Python程序示例，涵盖了基本的数据类型、控制流、函数和文件操作。
2024-06-30 14:00:00
238
原创 Python 学习之标准库（二）
此外，Python还有大量的第三方库可供选择，这些库提供了更丰富的功能和更好的性能，可以根据具体需求进行安装和使用。Python标准库是指Python编程语言自带的一组模块和包，它们是Python语言的核心组成部分，为开发者提供了丰富的功能和工具，帮助快速实现各种功能需求。：与操作系统交互，提供了文件和目录的操作功能，如文件读写、目录遍历等。：提供了高级的文件和目录操作功能，如复制、移动、删除文件和目录。：提供了日期和时间的处理功能，如日期时间的获取、格式化、计算等。：提供了灵活的日志记录功能。
2024-06-30 10:30:00
262
原创 Python 学习之基础语法（一）
面向对象编程的三大特性，其中封装用于隐藏对象的属性和方法细节，继承用于实现代码复用，多态用于实现接口的统一。命名规则：变量名由字母、数字和下划线组成，首字符不能是数字，且Python是区分大小写的。类型：Python是动态类型语言，变量类型由赋给它的值决定。（列表）：由元素组成的可变序列，元素类型可以不同，如。（复数）：由实部和虚部组成的数，如。（集合）：无序不重复元素的集合，如。：类是对象的模板，对象是类的实例。（字符串）：由字符组成的序列，如。（字典）：键值对组成的集合，如。
2024-06-29 11:00:00
511
原创 Python 学习路线及技巧
学习 Python 的常用第三方库，如 NumPy、Pandas、Matplotlib 等，用于数据处理和可视化。学习 Python 的机器学习库，如 TensorFlow、PyTorch 等，了解人工智能的基本概念。：定期回顾自己学过的知识点，加深记忆和理解。：加入 Python 社区，与其他开发者交流心得和经验，分享自己的成果和困惑，共同进步。：阅读优秀的 Python 代码，可以学习到别人的编程技巧和风格，提高自己的编程水平。：编程是一个需要长期学习和实践的过程，要保持对新技术和新知识的关注和学习。
2024-06-29 10:00:00
244
原创 oracle数据库之使用Python程序调用存储过程（二十五）
在Oracle数据库中，你可以使用Python程序通过Oracle的数据库适配器（如cx_Oracle）来调用存储过程。
2024-06-29 09:00:00
308
原创 oracle数据库之使用Java程序调用存储过程（二十四）
在Oracle数据库中，你可以使用Java程序来调用存储过程。这通常涉及几个步骤：首先，确保你的Java环境能够连接到Oracle数据库；其次，使用JDBC（Java Database Connectivity）来调用存储过程。
2024-06-28 10:23:01
235
原创 Oracle数据库之PL/SQL例外（二十三）
系统定义例外是Oracle数据库预先定义好的异常，用于处理常见的错误情况。这些异常通常与SQL操作或PL/SQL代码执行过程中的特定错误相关。：当SELECT INTO语句没有返回任何行时触发。：当SELECT INTO语句返回多行时触发，而该语句期望只返回一行。：当尝试除以零时触发。：当发生算数或转换错误时触发，例如，尝试将字符串转换为数字时失败。：在等待资源时发生超时。除了系统定义例外外，用户还可以根据需要定义自己的例外。自定义例外允许用户为特定的业务逻辑或错误情况定义异常处理机制。
2024-06-24 14:37:30
358
原创 python网站地图解析
请注意，这个脚本假设了sitemap.xml遵循Sitemap协议，并使⽤了标准的命名空间http://www.sitemaps.org/schemas/sitemap/0.9。实际的sitemap.xml⽂件可能会包含多个sitemap索引⽂件的链接，特别是在⼤型⽹站上，这种情况下，可能需要递归地处理这些索引⽂件来获取全部的⻚⾯链接。分析： ⽹站的地图（sitemap.xml）是⼀个XML⽂件，列出了⽹站上所有可访问的⻚⾯的URL。它使⽤ requests.get 发送⼀个GET请求以获取⽂件的内容。
2024-06-19 17:00:00
320
原创 Oracle数据库之PL/SQL存储过程、存储函数（二十二）
在Oracle数据库中，PL/SQL是用于存储和执行SQL语句和PL/SQL代码块的强大语言。使用PL/SQL，你可以创建存储过程（Stored Procedure）和存储函数（Stored Function）。这两种类型的数据库对象都允许你封装复杂的逻辑和计算，并在需要时从数据库应用程序中调用它们。
2024-06-19 10:00:00
222
原创 python反爬⾍策略应对
1. 更换⽤⼾代理（User-Agent）：很多⽹站会检查HTTP请求的 User-Agent 字段来识别爬⾍。4. 使⽤Selenium：对于⾼度动态的⽹站或当⽹站使⽤了复杂的JavaScript来加载内容时，可以使⽤Selenium模拟真实⽤⼾的浏览器⾏为。通过在请求之间添加适当的延迟，可以减少被检测的⻛险。• 使⽤爬⾍时，请确保遵守⽬标⽹站的 robots.txt ⽂件规定和相关法律法规，尊重⽹站的数据使⽤政策。应对⽹站的反爬⾍措施通常涉及到⼀系列技术和策略，以模仿正常⽤⼾的⾏为或规避检测机制。
2024-06-18 18:00:00
636
原创 Oracle数据库之使用DML语句处理数据及控制事务（二十一）
在 Oracle 数据库中，DML（Data Manipulation Language）语句用于处理（即插入、更新、删除）数据，而事务控制则用于确保数据的一致性和完整性。下面是一些基本的 DML 语句和事务控制的例子。
2024-06-18 13:53:19
368
原创 Oracle数据库之使用DDL语句管理表、约束（二十）
在Oracle数据库中，DDL（Data Definition Language）语句用于定义和管理数据库结构，如表、约束、索引等。以下是如何使用DDL语句来管理表和约束的一些示例。
2024-06-16 10:45:00
286
原创 Oracle数据库之多行函数（十九）
Oracle多行函数（也称为聚合函数或组函数）作用于一组数据，并对该组数据返回一个单一的值。这些函数在处理分组数据或对整个表进行汇总操作时非常有用。
2024-06-15 09:30:00
300
原创 Oracle数据库之单行函数（十八）
Oracle单行函数（Scalar Functions）是那些对表中的每一行返回一个值的函数。这些函数不会改变表中的数据，而是基于输入参数或表中的一列或多列返回一个新的值。Oracle提供了大量的内置单行函数，用于处理各种数据类型，如数字、字符串、日期等。
2024-06-14 16:30:00
591
原创 Oracle数据库之 函数（十七）
Oracle函数是用于执行特定计算或操作并返回值的命名PL/SQL块。通过使用语句可以创建函数，并通过多种方式进行调用。当不再需要某个函数时，可以使用语句将其删除。
2024-06-14 08:45:00
238
原创 Oracle数据库之加锁的方法（十六）
Oracle提供了丰富的加锁机制来满足不同的并发控制需求。在选择加锁方法时，需要根据具体的应用场景和数据访问模式来权衡并发性和数据一致性之间的平衡。同时，也需要注意避免死锁和长时间持有锁导致的性能问题。
2024-06-13 09:07:38
346
原创 python 使⽤API接⼝抓取数据
Python代码： 以下是⼀个简单的⽰例，展⽰如何使⽤Python的 requests 库从⼀个公开的API接⼝抓取数据，并处理JSON格式的响应。在这个⽰例中，将使⽤OpenWeatherMap的API来获取特定城市的当前天⽓数据。如果请求成功（即状态码为200），将响应内容（即 response.json() ）解析为Python字典， 并提取需要的数据，例如温度和天⽓描述，最后打印这些数据。使⽤API接⼝抓取数据时，重要的是要阅读并遵守API提供⽅的使⽤条款，包括请求频率的限制、数据使⽤政策等。
2024-05-30 09:00:00
168
原创 Python实现多线程下载器
在实际应⽤中，可能需要处理更复杂的情 况，⽐如需要认证的下载、处理重定向等。此外，虽然多线程可以提⾼下载效率，但过多的线程可能会导致⽹络拥堵或触发服务器的速率限制，因此需要合理设置并发线程的数量。• 对于 urls 列表中的每个URL，脚本创建⼀个新的 Thread 对象，并将 download_file 函数及其URL作为参数传递给该线程。Python代码： 使⽤ requests 库来下载数据，并使⽤ threading 库来并⾏处理多个下载任务。这个函数还会打印出⼀个消息，表⽰⽂件已经下载完毕。
2024-05-29 09:00:00
212
原创 Python 登录表单处理
为了保持登录状态，需要处理和保存会话中的 cookies。Python的 requests 库可以⽅便地处理这些任务，特别是它的 Session 对象，可以⾃动处理cookies，使得后续请求保持登录状态。假设正在尝试登录⼀个⽰例⽹站 （http://example.com/login），该⽹站的登录表单需要两个字段： username 和 password。Session 对象会⾃动保存登录后的cookies，这意味着可以使⽤同⼀个 Session 对象发送后续请求，⽽⽆需⼿动处理cookies。
2024-05-28 16:00:00
248
原创 Oracle数据库之事务(十四)
事务：在数据库中，事务是由一个或多个SQL语句组成的逻辑单元，这些语句共同完成一组相关的行为。事务通过其机制确保这一组SQL语句所作的操作要么全部成功执行，要么全部不执行。
2024-05-28 11:49:33
313
原创 Oracle数据库之系统事件触发器、替代触发器、DML触发器(十三)
当试图对不能直接进行DML操作的视图进行修改时，替代触发器可以定义一组操作来替代原本不允许的DML操作。然而，需要注意的是，Oracle数据库中的触发器通常更常用于DML（数据操纵语言）事件，如INSERT、UPDATE和DELETE，而不是系统事件。在这个语法中，{BEFORE | AFTER}指定触发器是在对表的操作发生之前还是之后触发，而[FOR EACH ROW]表示是行级触发器。因此，在编写或修改触发器时，请参考你正在使用的Oracle数据库版本的官方文档以获取最准确的信息。
2024-05-21 16:47:52
939
原创 图书推荐系统数据准备
为了准备构建图书推荐系统的数据，可以编写⼀个爬⾍脚本来从在线图书商店或图书评价⽹站抓取图书的详细信息和⽤⼾评价。在这个⽰例中，展⽰如何使⽤Python的 requests 和BeautifulSoup 库抓取图书信息。• 确保遵守⽬标⽹站的 robots.txt ⽂件规定和版权政策，不要对⽹站造成不必要的负担。• 在实际应⽤中，需要根据⽬标⽹站的实际HTML结构调整选择器。• 对于⼤规模数据抓取，考虑使⽤分布式爬⾍并合理安排抓取频率。
2024-05-17 10:39:56
222
原创 Oracle数据库之管理触发器（十二）
Oracle触发器是数据库中的一种对象，它在特定事件发生时自动执行或触发一段PL/SQL代码。这些事件通常包括对表的DML（数据操作语言）操作，如INSERT、UPDATE、DELETE，以及DDL（数据定义语言）操作，如CREATE、ALTER、DROP等，还包括数据库系统事件和用户事件。创建触发器：你可以使用CREATE TRIGGER语句来创建一个触发器。
2024-05-16 16:39:03
776
原创 Oracle数据库之触发器（十一）
触发器是一种特殊的存储过程，它与表相关联，可以在特定的事件发生时自动触发执行。这些事件通常包括数据的插入、更新或删除等操作。数据完整性保护：可以在数据插入、更新、删除等操作前后进行校验和处理，确保数据的完整性和一致性。自动化数据操作：可以实现一些自动化的数据操作，比如在插入数据时自动计算某个字段的值，或者在某个字段更新时自动更新其他相关字段的值。数据审计和监控：可以记录数据的变化历史，实现数据审计和监控功能，方便跟踪和分析数据的变化过程。
2024-05-15 13:56:45
550
原创 电商⽹站价格追踪器
发送电⼦邮件通知可以使⽤Python的 smtplib 库实现，但请确保在发送通知时不要泄露任何敏感信息，并遵守相关的隐私保护法规。要创建⼀个电商⽹站价格追踪器，可以使⽤Python的 requests 和 BeautifulSoup 库来抓取产品⻚⾯的价格信息，并使⽤ schedule 库定期执⾏价格检查。这个脚本⾸先定义了⼀个 check_price 函数，该函数⽤于抓取产品⻚⾯，解析出产品的当前价格，并与上⼀次记录的价格进⾏⽐较。在实际应⽤中，需要根据⽬标⻚⾯的实际HTML结构来调整选择器。
2024-05-15 10:24:18
184
原创 Oracle数据库之带参数的存储过程（十）
在 Oracle 数据库中，创建带参数的存储过程是很常见的。以下是一个简单的示例，说明如何创建一个接受参数的存储过程，并在过程中执行一些操作。示例：创建一个接受参数的存储过程假设我们有一个名为employees的表，它有一个salary列，我们想要创建一个存储过程来更新某个员工的薪水。) ISBEGIN-- 更新薪水-- 提交事务（如果需要的话）COMMIT;-- 可以添加异常处理部分EXCEPTIONDBMS_OUTPUT.PUT_LINE('没有找到对应的员工ID。');
2024-05-15 09:16:26
1310
原创 Oracle数据库之存储过程（九）
Oracle存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中。用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。定义存储过程是由流控制和SQL语句书写的过程，经编译和优化后存储在数据库服务器中。在Oracle中，若干个有联系的过程可以组合在一起构成程序包。优点提高性能：由于存储过程在数据库服务器上执行，可以减少网络流量和数据传输时间。此外，由于编译一次并多次执行，因此还可以提高应用程序的响应速度。保护数据。
2024-05-14 17:00:00
552
原创 网页变化监测器
在这个⽰例中，将使⽤Python的 requests 库来抓取⽹⻚， hashlib 来⽐较内容的变化，并使⽤schedule 库来定时执⾏任务。分析：创建⼀个⽹⻚变化监测器涉及到⼏个关键步骤：⾸先，定期抓取⽬标⽹⻚的内容；最后，如果检测到变化，通过电⼦邮件或其他⽅式通知⽤⼾。需求：编写⼀个脚本定期检查⽹⻚内容的变化（如价格变化、新闻更新等），并通过电⼦邮件或其他⽅式通知⽤⼾，了解定时任务和通知实现机制。• check_for_changes 函数检查当前⽹⻚内容的哈希值是否与之前保存的哈希值相同。
2024-05-14 16:00:00
189
原创 简单的网页搜索引擎
分析：要创建⼀个简单的⽹⻚搜索引擎，需要完成⼏个步骤：⾸先，抓取多个⽹⻚的内容；• 使⽤ defaultdict(set) 创建⼀个索引，其中键是单词，值是包含该单词的URL集合。其次，需要从抓取到的内容中提取⽂本，并创建⼀个简单的索引。在这个例⼦中，索引将是⼀个字典，键是单词，值是包含该单词的⽹⻚列表。需求：抓取多个⽹⻚的内容，创建⼀个简单的索引，然后实现⼀个⼩型的搜索功能，以理解搜索技术的基本原理。最后，将实现⼀个简单的搜索功能，允许⽤⼾输⼊⼀个查询词，然后返回包含该词的所有⽹⻚。
2024-05-14 11:40:32
571
原创 Oracle数据库之PL/SQL基本语法（八）
PL/SQL 是 Oracle 数据库中使用的过程化 SQL 语言扩展，它允许你在 SQL 语句中嵌入控制结构、变量声明、异常处理等。用于在 PL/SQL 块中输出调试信息。为了看到这些信息，你需要在 SQL*Plus 或其他客户端中启用它（例如，使用。PL/SQL 代码通常被组织在块（block）中。一个块包含三个部分：声明部分、执行部分和异常处理部分。包是 PL/SQL 中一种将逻辑、变量、常量、游标、类型、子程序、异常等组合在一起的数据库对象。在 PL/SQL 中，你可以在。部分来处理运行时错误。
2024-05-14 11:02:08
139
原创 论坛帖子数据抓取
脚本假设每个帖⼦的信息都包含在⼀个类名为 post-item 的 <div> 标签中，帖⼦标题、作者和发布⽇期分别包含在该 <div> 标签的不同⼦标签中（这⾥使⽤ <h3> 标签作为帖⼦标题的容器，<span> 标签作为作者和发布⽇期的容器）。脚本通过遍历所有这样的 <div> 标签，提取每个帖⼦的标题、作者和发布⽇期，并将这些信息打印出来。要抓取论坛帖⼦数据，包括帖⼦标题、作者和发布⽇期，可以使⽤ requests 库获取⽹⻚内容，再⽤ BeautifulSoup 解析HTML。
2024-05-13 16:00:00
124
原创 Oracle数据库之集合运算（七）
Oracle 中的集合运算是指将两个或多个查询的结果集组合成一个结果集的操作。这些集合运算包括 UNION、UNION ALL、INTERSECT 和 MINUS。注意：使用 UNION ALL 通常比 UNION 更快，因为它不需要去除重复的记录。希望这些信息对你有所帮助！
2024-05-13 14:15:00
428
Python之大麦网自动抢票实现自动登陆
2024-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人