- 博客(44)
- 收藏
- 关注
RSS订阅
原创 Toolset在线工具集：开发者的一站式效率工具箱
Toolset（网址：toolset.natapp1.cc）是一个面向开发者的综合性在线工具平台，集成了网络安全、数据处理、格式转换、文本编辑等20+类实用工具。平台采用简洁的卡片式布局，支持免注册即开即用，平均加载速度小于1秒，适用于紧急场景下的快速操作。- 应急数据恢复：通过IBD2SQL工具，可直接解析MySQL数据文件并生成INSERT语句，避免重装数据库导致的数据丢失。- 快速原型开发：前端工程师可利用Base64编解码工具（日均使用909次），实时转换API返回的二进制数据。
2025-10-09 09:59:20
363
原创 MySQL数据急救：ibd文件直接转SQL，数据库重装也不怕
本文详细介绍了在无法启动MySQL服务的紧急情况下，如何通过备份和恢复 ibd 文件，直接将InnoDB表数据转换为SQL语句，实现数据无损恢复。如果能提前备份好 data 目录下的 ibd 文件（InnoDB数据文件），即使数据库服务完全无法启动，也能通过本文方法将数据完整提取并转为SQL语句，实现无缝恢复。InnoDB的 ibd 文件存储了表的所有数据和索引。通过第三方工具（如 ibd2sql ）可直接解析 ibd 文件结构，提取行数据并生成对应的 INSERT 语句，无需依赖MySQL服务运行。
2025-10-09 09:55:15
634
原创 携程旅行网景区，评论数据爬虫项目数据库保存附源码
这是一个专门用于爬取某旅行网景区评论数据的Python爬虫项目。项目采用模块化设计，支持MySQL数据库存储，具备完整的异常处理机制和反爬虫策略。
2025-09-01 19:57:04
2410
原创 基于tkinter开发工具,第一天,完成登录注册
摘要：本文介绍了一个基于Python的登录注册系统，采用Tkinter+ttkbootstrap构建图形界面，MySQL存储数据，RSA加密保障安全。系统包含登录、注册和页面跳转功能，通过LoginPage.py、RegisterPage.py和db.py三个核心模块实现。登录流程验证用户名密码，注册过程检查用户名唯一性并对密码加密存储。数据库操作封装了连接管理、登录验证和注册处理，确保资源释放和异常处理。系统设计注重安全性，包括密码加密、输入验证和防资源泄露机制。
2025-08-02 19:58:26
1437
原创 基于Drissionpage和ddddocr库在自动化爬虫中的实际应用(包含少量数据处理和可视化步骤，比较综合)
本项目是一个自动化采集携程网站酒店数据并进行数据分析的系统。主要包含数据采集和数据可视化分析两个主要模块。项目特点自动化程度高：从登录到数据采集全流程自动化反爬虫处理：包含验证码识别、随机延时等机制数据完整性：通过多次滚动确保数据采集完整可视化分析：多维度展示数据特征和关系注意事项需要配置正确的数据库连接信息需要处理网络异常和验证码失败的情况数据采集时需要注意控制频率，避免被封禁分析时注意处理异常值和缺失值输出文件hotels.csv：原始数据文件多个.png文件：数据可视化图表。
2025-05-25 21:15:17
1103
原创 重构多任务爬虫
本文展示了一个旅游数据爬虫系统的核心代码模块，主要包括： data_config.py - 配置类，包含爬虫所需的headers、cookies、搜索关键词等参数，提供随机字符串生成方法。 data_crawl.py - 主爬虫类，封装景区搜索和评论获取功能： 支持自定义关键词、获取数量和页数 提供标准化的评论数据结构 包含完善的日志记录和错误处理 get_comments.py - 评论获取模块： 从携程API获取评论数据 处理分页逻辑 存储评论到结构化字典 该系统采用模块化设计，通过配置类统一管理参数，
2025-09-17 23:32:04
290
原创 crawl4ai示例
这篇文章摘要介绍了Python爬虫库crawl4ai的主要功能示例。该库提供全面的网页抓取能力，包括基础爬取、并行处理、内容清理、链接分析、JavaScript执行等功能。代码示例展示了五种典型场景：基础爬取Hacker News首页并生成Markdown；并行爬取多个网站；使用LLM内容过滤生成精简Markdown；无模式LLM结构化提取新闻数据；以及基于CSS选择器的结构化数据提取。这些示例体现了该库在处理动态渲染、内容过滤、数据提取等方面的强大功能，特别是支持通过LLM进行智能内容分析和结构化输出。
2025-09-11 13:39:21
402
原创 Crawl4AI精准提取结构化数据
JsonCssExtractionStrategy是Crawl4AI中一种基于JSON Schema和CSS选择器的网页数据提取策略。它通过定义包含字段名称、CSS选择器和提取类型的JSON模板，能够精准抓取结构化数据，特别适合新闻、电商等具有重复结构的页面。该策略支持文本、HTML、属性值等多种提取方式，并能处理嵌套列表数据。相比其他提取方法，它在精度和结构化输出方面表现突出，但依赖稳定的网页结构和CSS选择器编写能力。使用前需定义Schema并配置爬虫，适合需要批量获取特定字段信息的场景。
2025-09-11 12:39:10
1002
原创 Vue 3 学习路线指南
本文提供了Vue 3从入门到进阶的系统学习路径，分为五个阶段：基础入门（1-2周）包括环境搭建、核心概念和组合式API；组件开发（2-3周）涵盖组件通信、生命周期和插槽；状态管理（1-2周）介绍Pinia使用；路由管理（1周）讲解Vue Router配置；UI组件库（1-2周）示例演示Element Plus表单组件。每个阶段都配有代码示例，完整覆盖了Vue 3开发的核心知识点和实践技巧。
2025-09-04 22:06:06
594
原创 pinia状态管理的作用和意义
状态管理用于统一管理应用数据，解决组件间数据共享和同步问题。核心优势包括：集中管理数据、确保一致性、便于调试和代码复用。典型应用场景如用户登录状态、购物车功能和主题切换，通过全局状态库让各组件直接访问和更新数据，避免层层传递或数据不同步。推荐在涉及多组件共享数据或复杂交互时使用状态管理。
2025-09-04 22:05:12
423
原创 vue项目打包后dist部署到Nginx
本文详细介绍了将Vue项目部署到Nginx服务器的完整流程。主要内容包括：1）下载安装Nginx并配置nginx.conf文件，重点说明前端路由处理、静态资源缓存和API代理设置；2）打包Vue项目并复制dist目录到指定位置；3）启动Nginx服务及验证部署的步骤；4）提供常见问题解决方案（如端口占用、配置检查等）和Nginx管理命令（启动/停止/重载）。文档还包含完整的配置示例，特别强调了SPA路由兼容处理和API代理配置优化。
2025-09-03 22:17:46
839
原创 java web部署云服务器(linux+windows)
本文详细介绍了将Spring Boot+Vue+MySQL项目部署到云服务器的完整流程。主要包括：1) 购买云服务器并准备资源；2) 配置服务器环境，包括安装Java、Nginx、MySQL等必要组件；3) 部署Spring Boot后端，包括Jar包上传、启动脚本编写和端口配置；4) 部署Vue前端，通过Nginx配置和反向代理；5) 数据库迁移；6) 可选SSL证书配置；7) 设置服务自启动；8) 测试访问方法。文章还简要提及了Windows服务器的SSH配置方法，包括安装OpenSSH服务和防火墙设置
2025-09-03 22:07:20
345
原创 windows系统服务器测试部署springboot+vue+mysql项目
本文提供了Java后端应用和前端服务的快速部署指南，以及MySQL数据库权限配置的解决方案。主要内容包括：1）使用命令行启动Java后端应用（端口8083）；2）通过Python或Node.js启动前端静态服务（端口80）；3）验证服务是否正常运行；4）MySQL权限问题的三种解决方法，重点推荐直接修改root用户host或创建新用户并授权。所有操作均配有简洁明了的命令行示例，便于快速实施。最后还提供了检查端口占用情况的命令，确保服务部署无误。
2025-09-03 22:04:44
248
原创 tkinter布局
文章摘要： 本文介绍了Tkinter三种布局管理器的核心参数和使用方法： pack()：按添加顺序排列组件，支持side、fill、expand等参数控制停靠方向和填充方式。 place()：通过绝对/相对坐标精确定位，支持x/y、relx/rely等参数实现灵活布局。 grid()：网格布局，通过row/column定位，sticky控制对齐，支持行列权重分配（weight）。 特别说明：使用图片需绑定实例变量避免被回收，并提供了弹窗创建、键盘绑定等实用技巧。网格布局中权重大小直接影响组件分配的空间比例。
2025-08-31 22:05:55
1068
原创 JdbcTemplate和MyBatis的区别
摘要： JdbcTemplate（Spring框架内置）与MyBatis（独立持久层框架）是Java后端开发中常用的数据库操作工具，二者核心差异显著。JdbcTemplate轻量级，通过封装JDBC简化模板化SQL操作，但SQL硬编码在Java中，需手动处理结果映射；MyBatis则实现SQL与代码解耦，支持XML/注解编写SQL，提供自动映射、动态SQL及缓存功能。JdbcTemplate适合简单场景，学习成本低；MyBatis更灵活，适合复杂查询，但需额外配置。选择时需权衡开发效率、维护性及项目复杂度。
2025-08-24 22:28:55
752
原创 springboot项目搭建步骤
Spring Boot 后端开发流程可分为8个关键步骤： 环境准备：配置JDK 17+、Maven 3.6+、MySQL 8.0+等开发环境。 项目初始化：通过Spring Initializr生成基础项目结构，选择Web、MyBatis-Plus、MySQL等核心依赖。 配置文件设置：配置application.yml定义数据库连接、端口等参数，完善pom.xml依赖。 数据库设计：创建MySQL表结构并编写对应的Java实体类（使用Lombok简化代码）。 代码生成（可选）：利用MyBatis-Plus
2025-08-24 13:59:31
1628
原创 springboot项目结构
本文介绍了基于Maven/Gradle构建规范的分层架构设计。核心代码存放在src/main/java目录下，业务包按功能划分：config存放配置类，controller处理前端请求，dto负责数据传输，entity映射数据库结构，interceptor实现请求拦截，mapper操作数据库，service封装业务逻辑，util提供工具方法。启动类作为项目入口，通过分层实现"高内聚、低耦合"，便于维护和协作开发。这种结构适用于单体应用，也可扩展至分布式场景。
2025-08-23 22:55:34
612
原创 java数据类型
Java数据类型分为基本类型和引用类型两大类。基本类型（如int、char等）直接存储值，仅支持定义和修改操作。引用类型包括字符串、数组和集合，支持更复杂的增删改查操作：字符串不可变，需通过StringBuilder修改；数组长度固定，增删需重建；集合（List/Set/Map）提供动态存储，支持灵活的元素操作。List有序可重复，Set无序唯一，Map存储键值对。不同数据类型的选择取决于具体场景需求。
2025-08-19 21:39:46
270
原创 Java SE 基础
本文摘要：Java SE基础语法核心知识点，包括程序结构、数据类型、运算符、控制流、面向对象特性、异常处理等关键概念。重点涵盖：基本类型与包装类区别（如自动装箱陷阱）、变量作用域、运算符优先级、多态实现、抽象类与接口对比、异常分类处理机制，以及String/StringBuilder使用场景。通过典型代码示例展示了Java核心语法要点和常见编程模式，如方法重载、可变参数、枚举实现等，为Java基础学习提供了系统性的语法参考。
2025-08-18 17:09:35
347
原创 大语言模型数据清洗的真相
大语言模型数据清洗能力边界与优化策略 摘要： 大语言模型(LLM)在数据清洗中展现独特优势，尤其在语义理解、格式转换和质量评估等任务上表现优异。然而其存在明显局限性，包括处理大规模数据时的高成本、精确数值计算的不可靠性以及实时处理能力不足等问题。针对大数据量场景，本文提出混合架构解决方案：通过传统预处理方法过滤基础问题，结合智能规则引擎判断是否需要LLM处理，并采用异步批量处理提升性能。成本优化策略建议在预算内优先使用LLM处理复杂任务，同时通过并发控制降低延迟。实验表明，混合方法可显著降低处理成本达60%
2025-08-14 21:22:02
918
原创 基于大语言模型的爬虫数据清洗与结构化
摘要：本文探讨了大语言模型(LLM)在爬虫数据清洗与结构化中的应用。传统数据清洗方法面临格式多样性、非结构化内容处理等挑战，而LLM凭借语义理解、上下文感知和泛化能力，为数据清洗带来革命性变革。文章分析了GPT、BERT等主流模型的技术特点，提出了基于LLM的分层架构设计，包括预处理、LLM处理和后处理模块，并介绍了提示工程、批量处理等关键技术。通过电商、新闻等实际案例展示了LLM在数据清洗中的显著效果提升，同时讨论了计算资源需求、处理速度等当前挑战及未来发展趋势。LLM驱动的智能数据清洗方法正成为主流，为
2025-08-14 20:43:25
1233
原创 AI驱动的智能爬虫架构与应用
AI智能爬虫技术探索 本文探讨了AI驱动的智能爬虫架构设计与实现。传统爬虫面临反爬机制复杂、网页结构多变等挑战，而AI技术能显著提升爬虫的智能性和适应性。 文章主要包含两部分内容：1) AI智能爬虫的分层架构设计，包括NLP引擎、视觉引擎等核心组件；2) 关键实现技术，如自然语言处理(实体识别、情感分析)、计算机视觉(页面截图分析)等。作者通过Python代码展示了智能爬虫的核心架构和功能模块，包括页面分析、策略选择、数据提取和质量评估的全流程自动化实现。 这项技术融合了传统爬虫与AI技术，使爬虫具备理解网
2025-08-14 20:28:37
1203
原创 Debug马拉松：最崩溃的报错解决
摘要： 《Debug马拉松：最崩溃的报错解决》是一份面向工程师的系统化排错指南，旨在将"玄学问题"转化为可验证的解决方案。文章提出结构化排错框架（5W1H建模、三段论调试流程），并分享10个典型诡异案例（如Unicode字符问题、React状态穿越、DNS缓存故障等）。核心内容包括：标准化的知识库模板、可复用的十步排查清单、常用诊断代码片段，以及鼓励通过GitHub Issue模板共建排错知识库的协作方案。特别强调将崩溃时刻转化为可预防的规则，通过CI/CD检查项、监控告警等方式避免重复
2025-08-13 17:31:26
642
原创 算法优化实战
本文探讨了流媒体平台推荐系统的算法优化实践，重点分析了奈飞的技术方案。文章从冷启动问题、数据稀疏性等核心挑战切入，详细介绍了协同过滤算法的深度优化方法，包括矩阵分解的工程实践和小批量训练技术。作者通过Python代码示例展示了如何处理新用户/新内容冷启动、构建隐式反馈矩阵等技术细节。全文系统性地梳理了从推荐系统到内容分发的算法优化路径，为算法工程师提供了可落地的实践参考。文章还涵盖了深度学习应用、实时推荐架构、A/B测试等关键环节，展现了工业级推荐系统的完整技术栈。
2025-08-13 17:27:12
738
原创 Notepad++插件开发实战：从入门到精通
本文是一份Notepad++插件开发实战指南，从环境搭建到高级功能实现，系统介绍了插件开发全过程。主要内容包括：开发环境配置（Visual Studio + Notepad++源码）、插件架构解析（功能型/工具型/语言型插件）、Hello World示例插件实现（包含完整代码和CMake配置），以及实用插件开发案例（如代码格式化）。文章提供了详细的代码示例和开发步骤，帮助开发者快速掌握Notepad++插件开发技术，实现从入门到精通的进阶过程。
2025-08-13 12:46:20
1398
原创 基于tkinter开发电脑工具集
本文档介绍了一款基于Tkinter的电脑实用工具集桌面应用程序。该应用采用模块化架构设计，包含系统信息监控、系统维护优化、网络诊断工具和文件管理四大核心功能模块。技术实现上使用Python标准库结合psutil等第三方库，通过多线程处理确保界面响应流畅。应用采用JSON配置文件管理用户设置和指令集，界面设计遵循简洁明了、用户友好的原则，采用选项卡式布局和实时数据更新机制。文档详细描述了各功能模块的技术实现细节、界面布局结构和配置管理方式，为开发者和使用者提供了全面的参考信息。
2025-08-13 11:38:54
1217
原创 AI技术如何重塑软件开发行业
AI技术正在深刻变革软件开发行业，通过智能编码助手、自动化测试和低代码平台等工具，大幅提升开发效率和质量。关键变革包括：开发速度提升30-50%，错误减少60%，新手学习曲线降低，原型验证时间缩短至天级别。AI工具如GitHub Copilot可快速生成代码，智能审查系统提高代码一致性，测试自动化框架重构质量保障体系。在金融、医疗等行业，AI实现风险评估准确率95%+、医疗诊断超越专家水平等突破。大模型通过结构化提示词和多模态处理，推动企业级AI解决方案落地。这场技术革命正在重塑软件开发全流程，使开发者能更
2025-08-13 09:29:25
1085
原创 为什么Open WebUI可以不联网问问题，而直接使用Ollama可能需要联网
Open WebUI与直接使用Ollama的关键区别在于：Open WebUI通过REST API调用已加载的本地模型，无需网络验证，设计为离线友好的Web服务；而直接Ollama作为开发工具，每次运行都会检查模型完整性和依赖，可能触发网络请求。测试表明，断开网络后Open WebUI仍可正常工作，而直接Ollama可能失败。这种差异源于两者不同的设计理念：Open WebUI优化了离线使用场景，通过API稳定调用内存中的模型；而直接Ollama则更注重开发灵活性，保留了完整性验证机制。
2025-08-11 20:41:07
478
原创 部署open-webui到本地
本文介绍了Open WebUI的三种部署方法：1）使用Docker Compose（推荐方案），需配置环境变量后启动；2）直接通过Docker运行容器；3）本地开发模式需分别启动前后端服务。部署后需验证Ollama连接和WebUI访问，并提供常见问题解决方案。建议生产环境配置HTTPS、反向代理和日志监控。文档包含从基础部署到生产环境配置的完整指南，涵盖模型管理、用户权限等核心功能。
2025-08-11 20:26:21
1325
3
原创 常用hook钩子函数
本文介绍了爬虫中常用的Hook技术及其实现方法。Hook技术通过拦截和修改函数调用实现爬虫功能，主要包括：1) 网络请求Hook（XMLHttpRequest、Fetch API、Axios等）；2) 浏览器环境Hook（Navigator和Screen对象属性）；3) 加密算法和反爬虫检测拦截。示例代码展示了如何修改请求头、发送数据、覆盖浏览器指纹属性等关键操作。Hook技术能有效绕过反爬机制、获取加密参数并模拟真实用户行为，是爬虫开发中的重要手段。
2025-08-10 21:30:56
690
原创 python中re模块详细教程
本文详细介绍了Python中re模块的正则表达式功能，涵盖了基本语法和常用方法。主要内容包括：基本函数（match、search、findall、sub等）、正则表达式语法（字符类、量词、分组、断言等）、常用模式示例以及编译正则表达式对象。通过具体代码示例展示了如何匹配文本、查找替换内容、使用分组和断言等实用技巧，是Python开发者处理字符串模式匹配的实用参考指南。
2025-08-10 20:59:46
753
原创 node.js 零基础入门
本文是一份Node.js零基础入门教程，适合完全没有接触过Node.js的学习者。教程从基本概念开始，逐步介绍Node.js的核心语法和功能，目标是让学习者掌握编写CLI工具、小型HTTP服务和文件脚本的能力。 主要内容包括：Node.js的定义与特点、环境安装与运行方式、模块系统（CommonJS和ES Modules）、基础语法差异、核心内置模块（如path、fs、os等）、异步编程演进（从回调到async/await）、事件循环机制、Buffer处理二进制数据、Stream流处理等。教程还涵盖了HTT
2025-08-09 21:04:59
1200
原创 js零基础入门
本文是一份从基础到进阶的JavaScript系统教程，包含20个章节内容。教程从语言概览、运行环境开始，逐步深入讲解变量与作用域、函数、原型继承、异步编程等核心概念。每章都配有代码示例，涵盖类型系统、this绑定、模块化、Promise、async/await等关键知识点。教程还包含高级主题如迭代协议、函数式编程实践、性能优化等，最后提供标准库速查和精选练习。内容由浅入深，适合系统学习JavaScript的开发者参考。
2025-08-09 20:59:50
904
原创 基于tkinter开发工具，第二天，完成天气预报界面和音乐爬取界面
天气与音乐模块功能说明 天气模块采用Tkinter框架，集成高德API实时/预测天气数据，支持智能出行建议生成。主要功能包括： 左侧快捷城市选择 天气数据四分区展示 智谱AI建议弹窗 动态天气图标切换 网易云音乐模块实现歌曲搜索与数据存储： 支持关键词/快捷歌手搜索 批量获取歌曲ID并入库 显示加密请求参数 记录操作日志 两模块均采用ttkbootstrap美化界面，音乐模块额外使用execjs处理加密参数。使用时需注意API密钥配置及数据文件路径设置。
2025-08-08 12:36:06
1173
原创 tkinter中使用队列开启线程爬虫
本文介绍了一个使用Tkinter和线程实现的爬虫GUI应用。主界面包含搜索框、控制按钮和结果显示表格，通过后台线程执行耗时爬取任务，避免界面卡顿。关键技术包括： 使用threading.Thread创建守护线程处理网络请求 通过queue.Queue实现线程间通信，主线程定时轮询结果 采用threading.Event实现安全线程终止 严格区分UI线程和后台线程职责，确保线程安全 该设计可扩展为真实爬虫应用，核心思想是将耗时IO操作与界面响应分离，适用于Python GUI开发中的并发场景。
2025-08-08 12:21:49
1353
原创 接上节多线程,写一个基于tkinter和requests库的数据采集工具
微博热榜采集工具基于Python开发，采用Tkinter+ttkthemes构建GUI界面，通过多线程技术高效采集微博数据。工具核心为获取SUB认证参数绕过反爬机制，使用requests库发送请求，concurrent.futures实现多线程爬取，pandas处理数据导出。界面分为参数设置、控制按钮、数据展示等区域，支持自定义爬取数量、线程数等参数，可点击查看详情并导出CSV文件。关键技术包括微博时间格式转换、多线程同步及反爬策略应对，未来可扩展数据可视化、定时采集等功能。
2025-08-03 09:40:39
714
原创 python爬虫中多线程使用
摘要：本文介绍了Python中实现多线程网络爬虫的四种方法：1）使用threading模块创建基础线程；2）通过ThreadPoolExecutor管理线程池；3）结合Queue实现生产者-消费者模型；4）继承Thread类创建自定义线程。每种方法各有特点，从简单线程管理到复杂的线程安全通信，适用于不同场景。文章还提及了使用锁机制保护共享数据的重要性。多线程能有效提升I/O密集型爬虫效率，但需注意目标网站反爬策略和系统资源限制。（150字）
2025-08-03 09:31:33
424
原创 ttkbootstrap初识
本文介绍了使用ttkbootstrap库改进Tkinter界面设计的方法。通过对比原生Tkinter和ttkbootstrap的界面效果，展示了后者在视觉美观度和现代化方面的优势。文章提供了代码示例，演示了如何创建带主题切换功能的窗口界面，包括按钮样式设置、动态主题切换菜单的实现（使用lambda函数固定参数值），以及多种控件的布局方式。同时指出了在迁移到ttkbootstrap时需要注意的尺寸调整问题（原几何尺寸需乘以1.5），为开发者提供了从原生Tkinter升级到现代化界面的实用指导。
2025-08-02 16:41:02
378
原创 网易云音乐
本文分析了网易云音乐的搜索和音乐地址接口加密机制。通过全局搜索定位到关键加密参数enSecKey和加密函数window.asrsea，详细解析了加密过程。研究发现不同接口使用相同加密函数但参数长度不同，搜索接口的params为384位，encSecKey为256位。文章提供了JS代码示例展示如何调用加密函数，并指出音乐地址接口与搜索接口的加密方式相同，仅传入参数不同。最后声明免责条款，并提到可私信获取完整Python和JS代码实现。该逆向分析对开发音乐爬虫或接口调用具有参考价值。
2025-07-24 09:55:43
438
原创 JSRPC远程调用
访问接口，获得js端的返回值 http://127.0.0.1:12080/go?浏览器预先注册js方法 传递函数名调用。带多个参数并且使用post方法取值。访问接口，获得js端的返回值。访问接口，获得js端的返回值。接口传js让浏览器执行。
2025-07-24 09:43:33
319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人