自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(37)
  • 收藏
  • 关注

原创 PyAutoGUI 与 Pyperclip 实用教程

本文介绍了Python中PyAutoGUI和PyPerclip两个库的自动化操作功能。PyAutoGUI可模拟鼠标、键盘操作,实现GUI自动化,包括屏幕操作、鼠标控制、键盘输入和图像识别等功能。PyPerclip专注于剪贴板操作,简化文本复制粘贴。文章详细讲解了安装方法、核心功能及实际应用案例,如自动填写表单,并提供了注意事项,包括防故障机制、延迟设置和图像识别精度等。这两个库的组合能有效提高重复性任务的效率。

2025-09-23 21:02:34 597

原创 运动识别检测系统:基于计算机视觉的智能健身助手

摘要:本文介绍了一个基于计算机视觉的智能运动识别检测系统,采用前后端分离架构,结合MediaPipe姿态检测和KNN分类算法,实现对俯卧撑和深蹲的实时识别与计数。系统支持视频和摄像头两种输入方式,通过姿态编码、EMA平滑等技术确保准确性,并提供可视化反馈界面。该方案具有模块化设计、性能优化等特点,适用于个人健身指导、远程教学等场景,无需专业教练即可获得精准的运动分析。

2025-09-19 13:33:36 1256

原创 Python 实战:Boss 直聘职位信息爬虫开发全解析​

Boss直聘爬虫

2025-09-06 16:13:46 5980 6

原创 mysql数据库和redis数据库的安装

本文提供了MySQL和Redis的环境安装配置指南。MySQL部分包括下载解压、安装步骤、服务配置、环境变量设置及启动方式;Redis部分涵盖解压路径要求、服务启动顺序、环境变量配置和密码设置建议。文中特别提示:若配置过程出现问题,可直接使用原始文件启动服务。全文采用分步图示指导,建议MySQL使用简单密码(如123456),Redis可不设密码,并提供了将Redis设为系统服务的命令。

2025-08-26 16:38:23 493

原创 python如何下载库——0基础教程

python如何下载库——0基础教程

2025-08-23 13:55:10 1654

原创 电商数据分析可视化预测系统

本文介绍了一个基于京东平台数据的电商销量预测系统。系统采用request技术高效采集数据,构建了随机森林和逻辑回归两种预测模型。通过特征预处理(数值标准化和类别独热编码)和超参数调优,实现了对商品销量(低、中、高、超高)的准确分类。系统采用Django后端框架,MySQL数据库,前端使用HTML/CSS/JS结合ECharts进行可视化展示。模型评估显示,随机森林和逻辑回归均取得良好预测效果,为电商销量分析提供了有效解决方案。

2025-08-19 20:41:59 386

原创 用 Python 打造京东评论爬取 GUI 工具,轻松获取用户反馈,爬虫

爬虫,用 Python 打造京东评论爬取 GUI 工具

2025-08-18 16:50:53 1110

原创 用 Python 实现电商(淘宝)商品评论自动抓取与保存

本文介绍了一个基于Python的电商(淘宝)商品评论抓取工具,该工具能够自动采集商品评论并保存为CSV文件。工具主要功能包括:自动加载完整评论、模拟页面滚动、抓取评论信息(用户名、时间、内容、点赞数等)并进行去重处理。实现使用了DrissionPage控制浏览器、pyautogui模拟滚动操作,通过CSS选择器定位评论元素并提取数据。文章详细解析了代码实现步骤,包括初始化浏览器、加载评论、页面滚动、数据抓取和CSV保存等核心功能模块,同时提醒使用时需遵守网站规定。

2025-08-15 14:40:30 651

原创 京东商品爬虫工具:从需求到 GUI 实现的完整实践

在电商数据分析、竞品调研等场景下,获取京东商品信息是很常见的需求。手动一个个去查看、记录商品数据效率低下,于是我开发了这款带图形界面的京东商品爬虫工具,能便捷地爬取指定商品、指定页数的相关数据并保存

2025-08-14 14:07:14 708

原创 python闲鱼商品爬虫工具:从代码到实战

在电商数据分析和市场调研中,获取平台商品信息是一项基础且重要的工作。闲鱼作为国内知名的二手交易平台,蕴含着丰富的商品数据和市场趋势信息。今天,我将为大家介绍一个基于 Python 开发的闲鱼商品爬虫工具,它不仅能高效爬取商品数据,还拥有直观的图形界面,即使是编程新手也能轻松使用。

2025-08-13 16:56:58 2234 1

原创 用 Python 打造带 GUI 的淘宝商品爬虫工具:从代码到实战

本文介绍了一个基于Python的淘宝商品爬虫工具开发方案。该工具采用Tkinter构建图形界面,利用DrissionPage库监听淘宝API请求,实现商品数据的自动抓取。核心功能包括:支持自定义链接、文件名和页数设置;实时显示爬取进度;多线程处理防止界面卡顿;数据保存为CSV和JSON格式。文章详细解析了界面设计、数据爬取逻辑和异常处理机制,并提供了完整的代码实现。该工具适用于电商数据分析、市场调研等场景,使用时需遵守相关法律法规及网站反爬规则。

2025-08-12 17:06:39 1137

原创 手把手教你实现小红书数据采集工具:从 GUI 界面到数据存储全流程

在数据分析、市场调研或内容创作中,从小红书等平台获取结构化数据往往是第一步。但手动复制粘贴效率低下,而市面上的采集工具要么功能受限,要么操作复杂。今天我们就来手把手实现一个「小红书数据采集工具」,包含可视化界面、自动滚动加载、数据解析与存储等功能,即使是新手也能轻松上手。

2025-08-07 19:20:36 1966

原创 多平台自媒体数据采集工具

一款多平台社交媒体数据爬虫工具,基于 Playwright 开发。支持小红书、抖音、快手、微博、知乎等主流平台,可采集视频、图片、评论等数据。具备关键词 / 指定 ID 爬取、二级评论采集、登录态缓存、IP 代理池等功能,数据可保存为 CSV、JSON 或存储到关系型数据库。

2025-08-04 14:44:53 402

原创 爬取小红书信息:从接口监听到手把手实现

在信息爆炸的时代,小红书作为热门内容平台,积累了海量的短视频、笔记内容。如果我们想批量收集某类主题的视频信息(比如 “旅行 vlog”“美食教程”),手动复制粘贴显然效率低下。今天就来分享一个基于DrissionPage的小红书视频信息爬虫,通过监听接口的方式精准获取数据,全程代码解析 + 实操指南,新手也能快速上手。

2025-08-01 14:23:08 2625

原创 爱心烟花浪漫立方体轮播图 - 用代码表达爱意

这是一个专为表白和营造浪漫氛围而设计的3D立方体轮播图结合了现代Web技术与浪漫元素,通过立方体的旋转展示珍贵的照片,同时配有爱心飘动、流星划过、烟花绽放和雪花飞舞等浪漫特效,为你的表白增添独特的科技浪漫。

2025-07-31 21:54:01 360

原创 BeautifulSoup:网页解析的利器,让数据提取更简单

BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库。它能够将复杂的 HTML 文档转换成一个树形结构,每个节点都是 Python 对象,这些对象可以通过简单的方法进行遍历和操作,从而轻松提取出我们需要的信息。与其他网页解析工具相比,BeautifulSoup 的优势在于其解析方式更加灵活,对不规范的 HTML 文档有较强的容错能力。即使网页代码存在格式错误,比如缺少闭合标签等,它也能尽可能地正确解析,大大降低了开发者处理不规范网页的难度。

2025-07-30 15:58:07 570

原创 基于Flask的智能停车场管理系统开发实践

该停车场管理系统具有以下核心功能:1.车辆进出管理 :系统支持自动车牌识别和人工录入两种方式记录车辆进出信息。通过集成百度AI的OCR技术,系统能够准确识别车牌号码,大大提高了车辆登记的效率和准确性。2.车位状态监控 :系统实时监控所有停车位的占用情况,通过直观的可视化界面展示车位状态,帮助管理人员快速了解停车场的使用情况。3.智能收费管理 :系统支持灵活的收费规则配置,可以根据不同的时间段、车型等因素设置不同的收费标准,并自动计算停车费用。4.

2025-07-28 21:35:57 1215

原创 图书管理系统:一个功能完善的图书馆管理解决方案

这个图书管理系统采用Python Flask框架构建,结合了Flask-SQLAlchemy进行数据库操作,Flask-Login处理用户认证,以及Flask-WTF和WTForms处理表单验证。前端界面使用Bootstrap 5.1.1和自定义CSS样式,提供了响应式设计和现代化的用户体验。

2025-07-26 18:35:04 1021

原创 管理系统模板

本文介绍了一个基于Flask+SQLite的轻量级学生管理系统开发实践,适合全栈初学者学习。系统采用HTML/CSS/JS构建前端界面,后端使用Python的Flask框架,搭配SQLite数据库实现数据持久化。核心功能包括学生信息的增删改查、成绩排序、数据导出和可视化图表展示。文章详细说明了系统架构设计、数据库初始化流程以及关键代码实现(如用户认证、数据操作等),并特别强调了轻量级技术栈的优势——无需独立数据库服务,单文件即可运行部署。

2025-07-25 19:35:08 421

原创 DrissionPage:一款让网页自动化更简单的 Python 库

DrissionPage 是由国内开发者开发的一款网页自动化工具,它的核心特点是 **"一体化"**:将 "静态请求" 与 "动态渲染" 两种操作模式无缝结合,无需在 requests 和 selenium 之间切换,就能轻松应对各种网页场景。它以 "融合 selenium 和 requests 优势" 为核心设计理念,既能像 requests 一样高效处理静态网页,又能像 selenium 一样操控动态页面,让网页爬取和自动化测试变得前所未有的简单。:中文文档详尽,对国内开发者友好,入门门槛低。

2025-07-16 19:12:23 1104

原创 《Python 实现 B 站视频信息爬虫:从批量获取到 CSV 保存》

在数据分析和内容研究场景中,获取 B 站视频的标题、播放量、作者等信息是常见需求。本文将介绍如何使用 Python 编写一个 B 站视频爬虫,通过 DrissionPage 库实现自动化数据采集,并保存为 CSV 格式。相比传统 Selenium,DrissionPage 的 API 更简洁,适合快速开发爬虫脚本。

2025-06-28 20:12:28 1511 1

原创 Python 音乐爬虫实战:从网页抓包到歌曲下载

Python 来打造一个简单的音乐爬虫,实现从网页抓包分析,到最终下载歌曲的全过程。

2025-06-27 15:47:40 2322

原创 Python 图片爬虫实战:从代码解析到应用技巧

本文介绍了使用Python爬取彼岸桌面壁纸网4K美女壁纸的技术方法。通过构建URL列表、发送HTTP请求、解析HTML内容、提取图片URL并下载存储等步骤,详细解析了爬虫实现流程。文章还提供了代码优化建议(如多线程下载、断点续传)和注意事项(遵守robots协议、控制请求频率),帮助读者高效合法地获取图片资源。该技术适用于个人学习使用,但需注意避免侵权风险。

2025-06-23 20:57:22 1190

原创 JS 与 CSS 的交互式开发:打造灵动的网页体验

在当今的网页开发领域,静态的网页早已无法满足用户日益增长的交互需求。JavaScript(JS)和层叠样式表(CSS)作为前端开发的两大支柱,它们的强强联合能够创造出令人惊叹的交互式网页效果。从简单的按钮点击变色,到复杂的动画过渡和动态页面布局变换,JS 与 CSS 的交互式开发赋予了网页生命与活力。接下来,就让我们深入探索这一奇妙的领域。在开始交互式开发之前,我们需要明确 JS 和 CSS 各自的职责。CSS 主要负责网页的样式与布局,它能够定义元素的颜色、字体、大小、位置等外观属性,就像是网页的 “化妆

2025-06-18 19:38:12 610

原创 数据分析——sql篇

定义:返回 左表的所有记录,以及右表中 匹配的记录。如果右表中没有匹配的记录,则返回 NULL。定义:返回 右表的所有记录,以及左表中 匹配的记录。适用场景:分区表适合有明显划分特征的数据,分桶表适合需要高效连接和聚合的场景。定义:按某一列或多列的值将数据划分为多个分区,每个分区存储在不同的目录中。适用场景:当需要查询左表的所有记录,即使右表中没有匹配的数据时使用。适用场景:当需要查询右表的所有记录,即使左表中没有匹配的数据时使用。定义:内部表由 Hive 完全管理,包括数据的存储和元数据的管理。

2025-02-17 14:55:59 1408

原创 python爬取BOSS直聘代码分享

BOSS直聘爬虫代码分享,数据集分享

2024-11-08 10:29:28 909 1

原创 智联招聘爬虫

智联招聘爬虫在自动化信息收集、数据分析和挖掘、职位搜索和推荐、数据可视化,具有广泛价值。

2024-11-05 17:05:07 2440 2

原创 天气可视化系统

构建天气可视化系统:技术栈详解与实践

2024-10-15 09:56:25 400

原创 爬取1688商品数据并导出为CSV文件

在这篇文章中,我将向你展示如何使用Python的DrissionPage库来爬取1688网站上的商品数据,并将这些数据导出为CSV文件。DrissionPage是一个结合了Selenium和Requests库优点的库,它允许我们以更高效的方式进行网页数据的抓取。关键代码提取想要的字段,这里需要注意的是,我怎么去拿浏览器中对应数据的信息。自动化库的好处就是模拟人的行为进行操作。关键代码这里没有采取抓包。

2024-10-10 17:52:31 920 1

原创 数据开发---数据存储

DWS(Data Warehouse Summary):汇总数据层,存储汇总后的数据,提供高层次的分析和报表支持,通常基于详细数据层进行计算和聚合。同时,维度表之间的关系比较简单,不适合描述复杂的维度层次结构。优势:雪花模型在节省存储空间的同时,仍保持了较好的查询性能,适合需要更详细的维度信息和更复杂的维度结构的场景。概念:雪花模型在星型模型的基础上进一步规范化维度表,将维度表中的数据分解成更多的表,形成类似雪花的结构。外部表:删除表会删除表的元数据(metadata),但不会删除表数据(data)。

2024-09-29 14:20:52 1126

原创 数仓开发——数据采集

数仓开发——数据采集

2024-09-13 09:44:35 1087

原创 全国天气数据集(2011-2024)

历时两年半,抓取了全国的天气数据集,在数据驱动的今天,天气数据作为重要的环境信息,对于农业、交通、旅游、健康等多个领域都具有极高的价值。我们选择的数据源是天气网历史天气频道,该网站提供了全国34个省、市所属的2290个地区的历史天气预报查询服务,包括历史气温、风向、风力等天气状况,以及生活指数、健康指数、旅游指数和天气预警等实用信息。使用API接口(如果可用):如果天气网提供了API接口,应优先考虑使用API进行数据获取,这样可以避免直接抓取网页带来的诸多问题。

2024-09-07 12:24:34 4670 17

原创 python面试基础问题

当内部函数被调用时,尽管外部函数的执行已经结束,但内部函数依然能够访问外部函数的变量。多线程:threading,使得某个线程的IO操作和另一个线程的CPU计算可以同时进行,避免CPU等待IO,提高CPU利用率。多CPU并行:需要多核CPU,可以并行地处理多个线程,充分利用现代CPU的多核性能。函数作为一等公民:在Python中,函数可以被赋值给变量、作为参数传递给其他函数,以及作为其他函数的返回值。异步IO:asyncio,在单线程利用CPU和IO同时执行的原理,实现函数的异步执行。

2024-09-04 20:18:13 744

原创 在线考试系统---多用户权限

通过该系统,管理员可以高效管理系统的各项功能,教师可以方便地发布和管理考试试题,用户可以随时随地参与在线学习和考试。用户管理:管理员可以管理系统中的所有用户角色和用户信息,包括登录、个人信息修改、密码重置等功能,保障系统安全。成绩管理:教师能够对学生提交的试卷进行评分,及时反馈学生的考试成绩,便于学生进行针对性的学习。在线考试:用户可以在线参加待考试的内容,系统提供多种题型供用户选择,满足用户不同的学习需求。资讯管理:管理员可以发布、编辑和删除系统资讯,为用户提供最新的学习动态和行业动态。

2024-08-30 16:15:48 632

原创 各个地级市的年度天气数据集

全国各个地级市天气数据集

2024-08-26 10:14:27 879 2

原创 淘宝,京东,京东评论爬虫项目

京东,淘宝,京东评论爬虫项目自动化工具Python和Selenium库,应浏览器的WebDriver,如ChromeDriver。

2024-08-24 17:03:21 1560

原创 电商用户行为可视化大屏--大数据项目

该项目通过Kafka、Zookeeper、Flume等工具实现高效的数据采集与传输,利用Hadoop、Hive构建四层数据架构(ODS、DWD、DWS、ADS)进行数据存储与管理,并借助Spark进行数据处理与分析,最终通过可视化大屏展示。

2024-08-22 21:39:30 1714 3

服务器个人项目test

python+flask+html+css+js

2025-09-02

表白和营造浪漫氛围而设计的3D立方体轮播图结合了现代Web技术与浪漫元素,通过立方体的旋转展示珍贵的照片,同时配有爱心飘动、流星划过、烟花绽放和雪花飞舞等浪漫特效,为你的表白增添独特的科技浪漫

ccs使用构建好看的样式,立体。

2025-07-31

基于Flask的智能停车场管理系统开发实践

1. 车辆进出管理 :系统支持自动车牌识别和人工录入两种方式记录车辆进出信息。通过集成百度AI的OCR技术,系统能够准确识别车牌号码,大大提高了车辆登记的效率和准确性。 2. 车位状态监控 :系统实时监控所有停车位的占用情况,通过直观的可视化界面展示车位状态,帮助管理人员快速了解停车场的使用情况。 3. 智能收费管理 :系统支持灵活的收费规则配置,可以根据不同的时间段、车型等因素设置不同的收费标准,并自动计算停车费用。 4. 用户权限管理 :系统区分管理员和操作员两种角色,为不同角色提供相应的功能界面和操作权限,确保系统的安全性和规范性。 5. 数据统计与报表 :系统能够生成各类统计数据和报表,为停车场的运营决策提供数据支持。

2025-07-29

图书管理系统展示了如何使用Python Flask框架构建一个功能完善、安全可靠的Web应用程序

1. **现代化技术栈**:采用Flask 2.3.2作为Web框架,结合SQLAlchemy进行数据库操作,确保了系统的稳定性和可扩展性。 2. **响应式设计**:使用Bootstrap 5.1.1和自定义CSS样式,界面美观且适配各种设备屏幕。 3. **权限控制**:通过装饰器实现细粒度的权限控制,确保不同角色用户只能访问相应功能。 4. **数据安全**:使用Werkzeug安全函数进行密码哈希处理,确保用户信息安全。

2025-07-26

HTML+JS+CSS 搭建前端界面,结合 Flask 后端框架与 SQLite 数据库,开发一个轻量实用的学生管理系统

用户登录:验证管理员身份(简化版可跳过注册,直接使用预设账号)。​ 学生信息管理:​ 列表展示:学号、姓名、性别、年龄、班级等字段。​ 增删改查:添加新学生、编辑已有信息、删除退学学生、按学号 / 姓名搜索。​ 数据持久化:所有操作实时同步到 SQLite 数据库,刷新页面不丢失数据。​ 架构流程​ 前端页面(HTML+CSS) ←→ JavaScript(交互/请求) ←→ Flask后端(路由/逻辑) ←→ SQLite数据库(存储)​ 前端通过 Ajax 发送请求(如添加学生时提交表单数据)。​ Flask 接收请求后,调用数据库操作函数(增删改查)。​

2025-07-25

爬虫合集电商网站,视频网站,微博,招聘平台等网站代码合集

开箱即用爬虫合集

2025-07-23

小红书帖子数据集可用于数据分析

最新小红书帖子数据信息

2025-07-17

最新电商评论数据+数据分析+爬虫

爬虫技术+数据分析+模型训练

2025-07-17

b站视频爬虫+爬取壁纸并下载+爬取音乐并下载的程序+都是最新的开箱即用

壁纸批量下载:智能识别热门视频中的高清壁纸,自动抓取无水印原图,动漫、风景、人物统统收入囊中!​ 音乐无损提取:支持解析 B 站音乐视频、音频投稿,一键下载 MP3,离线循环你的专属歌单!​ 高效又省心:傻瓜式操作,无需复杂配置,小白也能秒变资源达人,从此告别手动搬运!

2025-07-03

招聘数据,招聘活动频繁:据教育部消息,2024年9月以来,各地各高校已开展招聘活动5.5万场,提供岗位信息1093万条

人才分析,职位分析,4w左右数据

2024-11-19

全国天气数据采集+源代码

全国天气数据集(2011-2024):构建与分析 在数据驱动的今天,天气数据作为重要的环境信息,对于农业、交通、旅游、健康等多个领域都具有极高的价值。本文将介绍如何构建一个覆盖全国范围、时间跨度从2011年到2024年的天气数据集,并简要讨论其潜在的应用场景。 一、数据来源与选择 我们选择的数据源是天气网历史天气频道,该网站提供了全国34个省、市所属的2290个地区的历史天气预报查询服务,包括历史气温、风向、风力等天气状况,以及生活指数、健康指数、旅游指数和天气预警等实用信息。 注意: 在进行数据抓取之前,请确保你的行为符合该网站的使用条款以及相关法律法规。 考虑到数据量巨大,建议通过合法渠道申请数据接口或与数据提供商合作。 二、数据抓取策略 由于直接通过网页抓取大量历史数据可能面临技术挑战和法律风险,以下是一种可行的策略概述: 确定目标地区与时间范围:明确需要哪些城市和哪些年份的数据。 使用API接口(如果可用):如果天气网提供了API接口,应优先考虑使用API进行数据获取,这样可以避免直接抓取网页带来的诸多问题。 网页爬虫(仅作为概念说明):如果API不可用,编写Python爬虫

2024-11-07

boss直聘数据集,可以数据分析,选择合适的岗位

数据集字段职位链接 职位名称 薪资 地区 经验学历要求 公司名称 公司简介 技术栈要求 员工福利

2024-11-05

微博热门话题数据集大数据数据分析

可以舆情分析,大数据数据分析数据存储

2024-11-05

京东商品数据集数据量11w左右

京东商品数据集是一个包含了京东平台上商品详细信息的集合,这些数据集通常用于数据分析、市场调研、商品推荐等多种场景。根据您提供的字段(商品名称、价格、评论条数、店铺、id),以下是对京东商品数据集的一个详细描述: 数据集字段说明 商品名称: 描述:商品的正式名称,是用户识别商品的主要依据。 示例:“小米Redmi Note 12 Turbo” 价格: 描述:商品的当前销售价格,可能包括原价、促销价等信息。价格可能会随时间、促销活动等因素发生变化。 示例:¥1999 注意:价格可能包含货币符号(如¥、$等),具体取决于数据集的格式和来源。 评论条数: 描述:该商品收到的用户评论数量,反映了商品的市场反馈和受欢迎程度。 示例:2000+ 注意:评论条数可能以“+”结尾,表示具体数量超过了显示的数字。 店铺: 描述:销售该商品的店铺名称或标识,可能包括京东自营、第三方商家等。 示例:“京东自营旗舰店”或“XX品牌官方旗舰店” id: 描述:商品的唯一标识符(如SKU ID),用于在京东平台上唯一识别该商品。 示例:一个由数字和字母组成的字符串,如“1234567890”

2024-09-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除