- 博客(37)
- 收藏
- 关注
原创 PyAutoGUI 与 Pyperclip 实用教程
本文介绍了Python中PyAutoGUI和PyPerclip两个库的自动化操作功能。PyAutoGUI可模拟鼠标、键盘操作,实现GUI自动化,包括屏幕操作、鼠标控制、键盘输入和图像识别等功能。PyPerclip专注于剪贴板操作,简化文本复制粘贴。文章详细讲解了安装方法、核心功能及实际应用案例,如自动填写表单,并提供了注意事项,包括防故障机制、延迟设置和图像识别精度等。这两个库的组合能有效提高重复性任务的效率。
2025-09-23 21:02:34
597
原创 运动识别检测系统:基于计算机视觉的智能健身助手
摘要:本文介绍了一个基于计算机视觉的智能运动识别检测系统,采用前后端分离架构,结合MediaPipe姿态检测和KNN分类算法,实现对俯卧撑和深蹲的实时识别与计数。系统支持视频和摄像头两种输入方式,通过姿态编码、EMA平滑等技术确保准确性,并提供可视化反馈界面。该方案具有模块化设计、性能优化等特点,适用于个人健身指导、远程教学等场景,无需专业教练即可获得精准的运动分析。
2025-09-19 13:33:36
1256
原创 mysql数据库和redis数据库的安装
本文提供了MySQL和Redis的环境安装配置指南。MySQL部分包括下载解压、安装步骤、服务配置、环境变量设置及启动方式;Redis部分涵盖解压路径要求、服务启动顺序、环境变量配置和密码设置建议。文中特别提示:若配置过程出现问题,可直接使用原始文件启动服务。全文采用分步图示指导,建议MySQL使用简单密码(如123456),Redis可不设密码,并提供了将Redis设为系统服务的命令。
2025-08-26 16:38:23
493
原创 电商数据分析可视化预测系统
本文介绍了一个基于京东平台数据的电商销量预测系统。系统采用request技术高效采集数据,构建了随机森林和逻辑回归两种预测模型。通过特征预处理(数值标准化和类别独热编码)和超参数调优,实现了对商品销量(低、中、高、超高)的准确分类。系统采用Django后端框架,MySQL数据库,前端使用HTML/CSS/JS结合ECharts进行可视化展示。模型评估显示,随机森林和逻辑回归均取得良好预测效果,为电商销量分析提供了有效解决方案。
2025-08-19 20:41:59
386
原创 用 Python 实现电商(淘宝)商品评论自动抓取与保存
本文介绍了一个基于Python的电商(淘宝)商品评论抓取工具,该工具能够自动采集商品评论并保存为CSV文件。工具主要功能包括:自动加载完整评论、模拟页面滚动、抓取评论信息(用户名、时间、内容、点赞数等)并进行去重处理。实现使用了DrissionPage控制浏览器、pyautogui模拟滚动操作,通过CSS选择器定位评论元素并提取数据。文章详细解析了代码实现步骤,包括初始化浏览器、加载评论、页面滚动、数据抓取和CSV保存等核心功能模块,同时提醒使用时需遵守网站规定。
2025-08-15 14:40:30
651
原创 京东商品爬虫工具:从需求到 GUI 实现的完整实践
在电商数据分析、竞品调研等场景下,获取京东商品信息是很常见的需求。手动一个个去查看、记录商品数据效率低下,于是我开发了这款带图形界面的京东商品爬虫工具,能便捷地爬取指定商品、指定页数的相关数据并保存
2025-08-14 14:07:14
708
原创 python闲鱼商品爬虫工具:从代码到实战
在电商数据分析和市场调研中,获取平台商品信息是一项基础且重要的工作。闲鱼作为国内知名的二手交易平台,蕴含着丰富的商品数据和市场趋势信息。今天,我将为大家介绍一个基于 Python 开发的闲鱼商品爬虫工具,它不仅能高效爬取商品数据,还拥有直观的图形界面,即使是编程新手也能轻松使用。
2025-08-13 16:56:58
2234
1
原创 用 Python 打造带 GUI 的淘宝商品爬虫工具:从代码到实战
本文介绍了一个基于Python的淘宝商品爬虫工具开发方案。该工具采用Tkinter构建图形界面,利用DrissionPage库监听淘宝API请求,实现商品数据的自动抓取。核心功能包括:支持自定义链接、文件名和页数设置;实时显示爬取进度;多线程处理防止界面卡顿;数据保存为CSV和JSON格式。文章详细解析了界面设计、数据爬取逻辑和异常处理机制,并提供了完整的代码实现。该工具适用于电商数据分析、市场调研等场景,使用时需遵守相关法律法规及网站反爬规则。
2025-08-12 17:06:39
1137
原创 手把手教你实现小红书数据采集工具:从 GUI 界面到数据存储全流程
在数据分析、市场调研或内容创作中,从小红书等平台获取结构化数据往往是第一步。但手动复制粘贴效率低下,而市面上的采集工具要么功能受限,要么操作复杂。今天我们就来手把手实现一个「小红书数据采集工具」,包含可视化界面、自动滚动加载、数据解析与存储等功能,即使是新手也能轻松上手。
2025-08-07 19:20:36
1966
原创 多平台自媒体数据采集工具
一款多平台社交媒体数据爬虫工具,基于 Playwright 开发。支持小红书、抖音、快手、微博、知乎等主流平台,可采集视频、图片、评论等数据。具备关键词 / 指定 ID 爬取、二级评论采集、登录态缓存、IP 代理池等功能,数据可保存为 CSV、JSON 或存储到关系型数据库。
2025-08-04 14:44:53
402
原创 爬取小红书信息:从接口监听到手把手实现
在信息爆炸的时代,小红书作为热门内容平台,积累了海量的短视频、笔记内容。如果我们想批量收集某类主题的视频信息(比如 “旅行 vlog”“美食教程”),手动复制粘贴显然效率低下。今天就来分享一个基于DrissionPage的小红书视频信息爬虫,通过监听接口的方式精准获取数据,全程代码解析 + 实操指南,新手也能快速上手。
2025-08-01 14:23:08
2625
原创 爱心烟花浪漫立方体轮播图 - 用代码表达爱意
这是一个专为表白和营造浪漫氛围而设计的3D立方体轮播图结合了现代Web技术与浪漫元素,通过立方体的旋转展示珍贵的照片,同时配有爱心飘动、流星划过、烟花绽放和雪花飞舞等浪漫特效,为你的表白增添独特的科技浪漫。
2025-07-31 21:54:01
360
原创 BeautifulSoup:网页解析的利器,让数据提取更简单
BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库。它能够将复杂的 HTML 文档转换成一个树形结构,每个节点都是 Python 对象,这些对象可以通过简单的方法进行遍历和操作,从而轻松提取出我们需要的信息。与其他网页解析工具相比,BeautifulSoup 的优势在于其解析方式更加灵活,对不规范的 HTML 文档有较强的容错能力。即使网页代码存在格式错误,比如缺少闭合标签等,它也能尽可能地正确解析,大大降低了开发者处理不规范网页的难度。
2025-07-30 15:58:07
570
原创 基于Flask的智能停车场管理系统开发实践
该停车场管理系统具有以下核心功能:1.车辆进出管理 :系统支持自动车牌识别和人工录入两种方式记录车辆进出信息。通过集成百度AI的OCR技术,系统能够准确识别车牌号码,大大提高了车辆登记的效率和准确性。2.车位状态监控 :系统实时监控所有停车位的占用情况,通过直观的可视化界面展示车位状态,帮助管理人员快速了解停车场的使用情况。3.智能收费管理 :系统支持灵活的收费规则配置,可以根据不同的时间段、车型等因素设置不同的收费标准,并自动计算停车费用。4.
2025-07-28 21:35:57
1215
原创 图书管理系统:一个功能完善的图书馆管理解决方案
这个图书管理系统采用Python Flask框架构建,结合了Flask-SQLAlchemy进行数据库操作,Flask-Login处理用户认证,以及Flask-WTF和WTForms处理表单验证。前端界面使用Bootstrap 5.1.1和自定义CSS样式,提供了响应式设计和现代化的用户体验。
2025-07-26 18:35:04
1021
原创 管理系统模板
本文介绍了一个基于Flask+SQLite的轻量级学生管理系统开发实践,适合全栈初学者学习。系统采用HTML/CSS/JS构建前端界面,后端使用Python的Flask框架,搭配SQLite数据库实现数据持久化。核心功能包括学生信息的增删改查、成绩排序、数据导出和可视化图表展示。文章详细说明了系统架构设计、数据库初始化流程以及关键代码实现(如用户认证、数据操作等),并特别强调了轻量级技术栈的优势——无需独立数据库服务,单文件即可运行部署。
2025-07-25 19:35:08
421
原创 DrissionPage:一款让网页自动化更简单的 Python 库
DrissionPage 是由国内开发者开发的一款网页自动化工具,它的核心特点是 **"一体化"**:将 "静态请求" 与 "动态渲染" 两种操作模式无缝结合,无需在 requests 和 selenium 之间切换,就能轻松应对各种网页场景。它以 "融合 selenium 和 requests 优势" 为核心设计理念,既能像 requests 一样高效处理静态网页,又能像 selenium 一样操控动态页面,让网页爬取和自动化测试变得前所未有的简单。:中文文档详尽,对国内开发者友好,入门门槛低。
2025-07-16 19:12:23
1104
原创 《Python 实现 B 站视频信息爬虫:从批量获取到 CSV 保存》
在数据分析和内容研究场景中,获取 B 站视频的标题、播放量、作者等信息是常见需求。本文将介绍如何使用 Python 编写一个 B 站视频爬虫,通过 DrissionPage 库实现自动化数据采集,并保存为 CSV 格式。相比传统 Selenium,DrissionPage 的 API 更简洁,适合快速开发爬虫脚本。
2025-06-28 20:12:28
1511
1
原创 Python 图片爬虫实战:从代码解析到应用技巧
本文介绍了使用Python爬取彼岸桌面壁纸网4K美女壁纸的技术方法。通过构建URL列表、发送HTTP请求、解析HTML内容、提取图片URL并下载存储等步骤,详细解析了爬虫实现流程。文章还提供了代码优化建议(如多线程下载、断点续传)和注意事项(遵守robots协议、控制请求频率),帮助读者高效合法地获取图片资源。该技术适用于个人学习使用,但需注意避免侵权风险。
2025-06-23 20:57:22
1190
原创 JS 与 CSS 的交互式开发:打造灵动的网页体验
在当今的网页开发领域,静态的网页早已无法满足用户日益增长的交互需求。JavaScript(JS)和层叠样式表(CSS)作为前端开发的两大支柱,它们的强强联合能够创造出令人惊叹的交互式网页效果。从简单的按钮点击变色,到复杂的动画过渡和动态页面布局变换,JS 与 CSS 的交互式开发赋予了网页生命与活力。接下来,就让我们深入探索这一奇妙的领域。在开始交互式开发之前,我们需要明确 JS 和 CSS 各自的职责。CSS 主要负责网页的样式与布局,它能够定义元素的颜色、字体、大小、位置等外观属性,就像是网页的 “化妆
2025-06-18 19:38:12
610
原创 数据分析——sql篇
定义:返回 左表的所有记录,以及右表中 匹配的记录。如果右表中没有匹配的记录,则返回 NULL。定义:返回 右表的所有记录,以及左表中 匹配的记录。适用场景:分区表适合有明显划分特征的数据,分桶表适合需要高效连接和聚合的场景。定义:按某一列或多列的值将数据划分为多个分区,每个分区存储在不同的目录中。适用场景:当需要查询左表的所有记录,即使右表中没有匹配的数据时使用。适用场景:当需要查询右表的所有记录,即使左表中没有匹配的数据时使用。定义:内部表由 Hive 完全管理,包括数据的存储和元数据的管理。
2025-02-17 14:55:59
1408
原创 爬取1688商品数据并导出为CSV文件
在这篇文章中,我将向你展示如何使用Python的DrissionPage库来爬取1688网站上的商品数据,并将这些数据导出为CSV文件。DrissionPage是一个结合了Selenium和Requests库优点的库,它允许我们以更高效的方式进行网页数据的抓取。关键代码提取想要的字段,这里需要注意的是,我怎么去拿浏览器中对应数据的信息。自动化库的好处就是模拟人的行为进行操作。关键代码这里没有采取抓包。
2024-10-10 17:52:31
920
1
原创 数据开发---数据存储
DWS(Data Warehouse Summary):汇总数据层,存储汇总后的数据,提供高层次的分析和报表支持,通常基于详细数据层进行计算和聚合。同时,维度表之间的关系比较简单,不适合描述复杂的维度层次结构。优势:雪花模型在节省存储空间的同时,仍保持了较好的查询性能,适合需要更详细的维度信息和更复杂的维度结构的场景。概念:雪花模型在星型模型的基础上进一步规范化维度表,将维度表中的数据分解成更多的表,形成类似雪花的结构。外部表:删除表会删除表的元数据(metadata),但不会删除表数据(data)。
2024-09-29 14:20:52
1126
原创 全国天气数据集(2011-2024)
历时两年半,抓取了全国的天气数据集,在数据驱动的今天,天气数据作为重要的环境信息,对于农业、交通、旅游、健康等多个领域都具有极高的价值。我们选择的数据源是天气网历史天气频道,该网站提供了全国34个省、市所属的2290个地区的历史天气预报查询服务,包括历史气温、风向、风力等天气状况,以及生活指数、健康指数、旅游指数和天气预警等实用信息。使用API接口(如果可用):如果天气网提供了API接口,应优先考虑使用API进行数据获取,这样可以避免直接抓取网页带来的诸多问题。
2024-09-07 12:24:34
4670
17
原创 python面试基础问题
当内部函数被调用时,尽管外部函数的执行已经结束,但内部函数依然能够访问外部函数的变量。多线程:threading,使得某个线程的IO操作和另一个线程的CPU计算可以同时进行,避免CPU等待IO,提高CPU利用率。多CPU并行:需要多核CPU,可以并行地处理多个线程,充分利用现代CPU的多核性能。函数作为一等公民:在Python中,函数可以被赋值给变量、作为参数传递给其他函数,以及作为其他函数的返回值。异步IO:asyncio,在单线程利用CPU和IO同时执行的原理,实现函数的异步执行。
2024-09-04 20:18:13
744
原创 在线考试系统---多用户权限
通过该系统,管理员可以高效管理系统的各项功能,教师可以方便地发布和管理考试试题,用户可以随时随地参与在线学习和考试。用户管理:管理员可以管理系统中的所有用户角色和用户信息,包括登录、个人信息修改、密码重置等功能,保障系统安全。成绩管理:教师能够对学生提交的试卷进行评分,及时反馈学生的考试成绩,便于学生进行针对性的学习。在线考试:用户可以在线参加待考试的内容,系统提供多种题型供用户选择,满足用户不同的学习需求。资讯管理:管理员可以发布、编辑和删除系统资讯,为用户提供最新的学习动态和行业动态。
2024-08-30 16:15:48
632
原创 淘宝,京东,京东评论爬虫项目
京东,淘宝,京东评论爬虫项目自动化工具Python和Selenium库,应浏览器的WebDriver,如ChromeDriver。
2024-08-24 17:03:21
1560
原创 电商用户行为可视化大屏--大数据项目
该项目通过Kafka、Zookeeper、Flume等工具实现高效的数据采集与传输,利用Hadoop、Hive构建四层数据架构(ODS、DWD、DWS、ADS)进行数据存储与管理,并借助Spark进行数据处理与分析,最终通过可视化大屏展示。
2024-08-22 21:39:30
1714
3
表白和营造浪漫氛围而设计的3D立方体轮播图结合了现代Web技术与浪漫元素,通过立方体的旋转展示珍贵的照片,同时配有爱心飘动、流星划过、烟花绽放和雪花飞舞等浪漫特效,为你的表白增添独特的科技浪漫
2025-07-31
基于Flask的智能停车场管理系统开发实践
2025-07-29
图书管理系统展示了如何使用Python Flask框架构建一个功能完善、安全可靠的Web应用程序
2025-07-26
HTML+JS+CSS 搭建前端界面,结合 Flask 后端框架与 SQLite 数据库,开发一个轻量实用的学生管理系统
2025-07-25
b站视频爬虫+爬取壁纸并下载+爬取音乐并下载的程序+都是最新的开箱即用
2025-07-03
全国天气数据采集+源代码
2024-11-07
京东商品数据集数据量11w左右
2024-09-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅