- 博客(167)
- 资源 (3)
- 问答 (13)
- 收藏
- 关注
RSS订阅原创 时间序列预测神器：用Facebook Prophet轻松填补缺失值与优化预测效果
Prophet 是 Facebook 开发的一种时间序列预测工具，旨在帮助数据科学家快速生成高质量的预测结果。它基于加性回归模型，能够捕捉时间序列中的趋势、季节性和节假日效应。易于使用：Prophet 提供了简洁的 API，用户无需复杂的统计知识即可快速上手。强大的季节性建模：Prophet 能够自动检测并建模年、周、日等不同粒度的季节性。灵活的趋势建模：Prophet 使用分段线性或逻辑增长模型来捕捉趋势变化，并允许用户手动指定变化点。鲁棒性。
2025-04-15 09:26:36
1101
原创 Prophet预测波动性实战：5招让你的时间序列曲线“活“起来 破解预测曲线太平滑的行业痛点
在金融交易量预测、电商销量预估等场景中，数据常呈现剧烈波动特征。，尤其在周周期波动明显的场景中，模型甚至会"抹平"周五的高峰！：高阶傅里叶展开需配合。调节，否则会导致过拟合。
2025-04-15 09:24:04
760
原创 Python项目打包指南：PyInstaller与SeleniumWire的兼容性挑战及解决方案
在打包依赖冲突：如pyOpenSSL与的版本冲突问题。路径问题：如在运行时未找到或未正确加载。打包文件缺失：某些文件（如.crt.key等）在打包时未包含，导致运行时无法找到。本指南总结了在使用打包 Python 项目时常见的兼容性问题和解决方法。使用兼容的依赖版本，尤其是pyOpenSSL和。将等可执行文件显式添加到.spec文件。在代码中使用以正确引用打包后临时解压目录中的文件。严格遵循这些步骤可以有效避免大多数打包和运行时错误，确保项目在各个环境下稳定运行。
2025-04-07 14:31:30
982
2
原创 Pandas 性能优化：向量化操作 vs. Swifter 加速，谁才是大数据处理的救星？
在数据分析中，我们经常需要对 DataFrame 的每一行或每一列进行操作。例如，计算每行中每列的百分比变化。然而，当数据量较大时，apply()方法的性能可能会成为瓶颈。# 示例 DataFrame})# 计算百分比变化if current!= 0:else:# 应用到前96列上述代码中，apply()方法逐行计算百分比变化。然而，当数据量较大时（例如百万行或更多），这种方法可能会非常慢。优先使用向量化操作向量化操作利用底层优化，避免逐行循环，性能最佳。适用于大规模数据集。使用。
2025-04-07 14:24:56
647
原创 打包成.exe的代码与打包不出的爱情：24届码农的魔幻入职年
24年正常毕业，从河南一个二本里完成了自己从学生到社会人士的身份转变，上半年里，一边在广州一家小企业里Python开发实习，一遍修改毕设报告，因为导师要求比较高，报告改了一遍又一遍，但好在没有像去年的学长一样，都在实习了，还被我们这个导师要求请假回学校来改。五六月份的时候，学校举办了毕业典礼，因为广州距离郑州实在太远，就没有请假回来参加，也就是哪一天收到了人生中的第一束花（优秀毕设被院长赠花，可惜人不在场让室友带领）。
2025-02-06 14:50:07
382
原创 揭秘数据抓取：用Selenium+Requests打造高效并发爬虫！
在本文中，我们介绍了如何通过结合 Selenium、requests 和线程池等技术高效地进行数据抓取。关键功能模块包括模拟浏览器登录获取所需的请求参数，通过线程池并发处理数据抓取任务，并使用 pandas 将抓取的数据定期保存为 CSV 文件。还讨论了如何使用线程锁来确保多线程环境下的线程安全，防止数据竞争和不一致问题。定期保存数据的策略则有效防止了突发状况导致的数据丢失风险。通过这些技术的结合，能够大大提高数据抓取的效率和稳定性，确保在复杂的内网环境中，数据能够持续、可靠地获取并存储。
2024-09-19 16:52:12
1767
原创 高级技巧：使用Selenium WebDriver模拟用户操作防止滑动条验证
滑动条验证是一种常见的前端安全措施，要求用户将滑块拖动到特定位置以证明操作者是人类而非自动化脚本。这种验证对于自动化测试来说是一个挑战，因为它需要模拟人类行为的不确定性和随机性。而对于网站来说经常使用验证会影响用户体验，因此大部分网站只会在检测到有bot风险时才会跳出验证，而我们在操作时可以尽量模拟用户去规避这种风险。通过模拟用户操作，我们可以有效地规避Web页面上的滑动条验证。在实践中，可能需要根据具体的验证机制调整策略。希望本文提供的技巧和示例代码能够帮助大家在自动化测试中更有效地处理滑动条验证。
2024-06-21 08:59:12
766
原创 热搜不再错过：用Python打造你的微博热搜追踪器
本博客文章将详细介绍一个关于微博热搜榜简单爬虫程序。该程序的主要功能是自动获取微博热搜榜上的信息，并将这些信息通过邮件发送给用户。requests：用于发送HTTP请求，获取网页内容。：用于解析HTML网页，方便提取所需信息。smtplib：用于发送邮件。和：用于构建邮件的各个部分。：发送HTTP请求，获取网页内容，并返回HTML代码。：解析HTML代码，提取热搜信息，并调用函数发送邮件。：构建邮件的各个部分，并发送邮件。此外，程序还包含一个job()函数，它负责调用和。
2024-06-21 08:57:20
740
原创 职业生涯第二课---“前人埋雷，后人踩坑“
在这段半个月的实习生涯中，前几天主动优化自己写的代码，还学到了分布式事物锁，有点沾沾自喜。没想到没过几天就踩到了前人埋下的雷。
2024-05-16 09:10:12
560
原创 职业生涯第一课---“Redis分布式锁优化：确保唯一性与效率“
BOSS让我写一些接口，他提出这样一个需求，该接口的参数有多个，其中包含shopname参数，该参数要根据调用者传入的shopname再在后边拼接一个id，作为一个新的字段来作为参数去调用别的接口。而且要保证ID的唯一性。因为BOSS要我写的接口是我们公司内部用的系统的接口，并发量不会太大，但我想万一真有两个人近乎一起用了该接口，该怎样保证获取的id的唯一性。于是就有了下面的经历。
2024-05-16 09:09:04
513
原创 爬虫机试题-爬取新闻网站
之前投简历时遇到了这样的一个笔试。本以为会是数据结构算法之类的没想到直接发了一个word直接提需求，感觉挺有意思就写了这篇文章，感兴趣的朋友可以看看。
2024-04-15 17:53:39
919
原创 爬取日本常用汉字秘籍
昨天投简历时遇到了这样的一个笔试。本以为会是数据结构算法之类的没想到直接发了一个word直接提需求，感觉挺有意思就写了这篇文章，感兴趣的朋友可以看看。
2024-04-08 17:05:25
876
原创 如何用Python解决导师与学生分配的难题？
最近我遇到了一个有趣的问题，我的导师想要提前将下一届的学生分配给各位老师。这听起来似乎没什么大不了的，但实际上，这可是个挺头疼的事情。想象一下，你作为一名导师，要负责领导一群研究生。你希望这些学生和你的研究方向相符，又能发挥他们的潜力。但问题是，如果分配不公平，可能会导致资源浪费，甚至影响到学生的学习和研究。所以，我决定动手写一个随机分配的脚本来解决这个问题。这样一来，分配就不会受到个人喜好或偏见的影响，而是完全随机的，公平而且透明。在这篇博客里，我将和大家分享我的思路和实现过程。
2024-04-08 17:03:39
1136
原创 深入浅出SQL排序与函数
在 MySQL 中，可以使用语句来创建自定义函数。BEGIN-- 函数体END;是自定义函数的名称。parameter1parameter2, … 是函数的参数，可以有零个或多个。是函数的返回类型。是可选的关键字，用于指定函数是否是确定性的。是指定函数使用的语言，通常为 SQL。是指定函数的执行权限，可以是定义者（DEFINER）或调用者（INVOKER）。创建自定义函数后，可以像使用内置函数一样在 SQL 查询中调用它们。-- 返回结果为 8。
2024-04-02 09:56:26
734
原创 停用词究竟有何妙用：优化分词、精进LDA模型
在自然语言处理领域，文本数据的处理是一项至关重要的任务。而在处理文本数据时，分词是一个必不可少的步骤，它将文本拆分成有意义的词语或短语，为后续的文本分析和挖掘奠定了基础。然而，传统的分词方法往往会将一些并不具备实质信息的词语也一并纳入考量，而这些词语往往被称为停用词。停用词是指在文本处理过程中被忽略的词语，因为它们通常是高频出现且缺乏实际含义的词汇，如“的”、“了”、“和”等。在构建文本分析模型时，停用词的存在可能会干扰模型的准确性和效率，影响到对文本数据的深入理解和挖掘。
2024-03-31 10:15:44
2110
原创 精准定制：利用本地词库优化Jieba分词，提升景区评论数据LDA建模效果
在进行景区评论数据的LDA建模时，精确的分词是至关重要的。然而，通用的分词工具在处理特定领域的文本时可能表现不佳。针对这一挑战，本文探讨了如何利用本地词库，特别是搜狗词库中关于旅游领域的专业词汇，对Jieba分词进行精细化调整。通过这种方式，我们可以实现对景区评论数据的更精准、更有效的LDA建模，从而揭示出更深层次的见解和洞察。本文将探讨如何结合本地词库定制词典，优化分词过程，从而提升LDA模型的表现，为景区评论数据的分析与应用提供更可靠的基础。
2024-03-30 16:45:33
637
原创 解析旅游者心声：用PySpark和SnowNLP揭秘景区评论的情感秘密
在本文中，我们使用了PySpark和SnowNLP工具对大规模旅游评论数据进行了情感分析。通过连接到Hive数据库，并利用PySpark从中提取数据，我们能够处理大规模的数据集。SnowNLP作为自然语言处理工具，帮助我们进行情感分析，从而揭示了评论中的情感倾向和趋势。我们通过计算每条评论的平均情感值，并将结果存储到新的数据表中。通过合并不同数据表的信息，我们得到了综合的情感分析结果，并进行了展示和持久化存储。
2024-03-29 10:33:38
1567
原创 SmartChart的部署以及可能遇见的报错解决方案
数据可视化是一种将数据转化为图形的技术，可以帮助人们更好地理解和分析数据。但是，传统的数据可视化开发往往需要编写大量的代码，或者使用复杂的拖拽工具，不仅耗时耗力，而且难以实现个性化的需求。有没有一种更简单、更灵活、更智能的数据可视化开发方式呢？本文将介绍一款基于Python + Django + Echarts的数据可视化解决方案——SmartChart。
2024-03-29 10:31:47
1577
原创 深入Spark与LDA：大规模文本主题分析实战
本篇博客介绍了如何使用LDA（潜在狄利克雷分配）模型和Spark进行文本主题分析。我们的目标是从大量的用户评论中提取出主题。
2024-03-28 23:53:32
1207
原创 pyhive入门介绍和实例分析（探索票价与景点评分之间是否存在相关性）
是一组 Python DB-API 和 SQLAlchemy 接口，可用于 Presto 和 Hive。它为 Python 提供了一个与 Presto 和 Hive 进行交互的平台，使得数据分析师和工程师可以更方便地进行数据处理和分析。以下是使用如果你想安装： 使用连接 Hive 数据库非常简单。： 使用： 如果你更喜欢使用进行数据分析，可以将查询结果转换为。
2024-03-27 00:23:42
881
原创 使用Apache Hive进行大数据分析的关键配置详解
Apache Hive是一个在Hadoop上构建的数据仓库工具，它允许用户通过类似SQL的语言（HiveQL）进行数据查询和分析。在使用Hive进行大数据分析之前，需要配置一些重要的参数以确保系统正常运行并满足特定需求。本文将重点介绍Apache Hive的关键配置属性，涵盖了元数据存储、临时目录、日志设置以及HiveServer2连接等方面。
2024-03-25 15:27:46
507
原创 使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
PySpark 是 Apache Spark 的 Python API，可用于处理大规模数据集。它提供了丰富的功能和库，使得数据清洗和转换变得更加高效和便捷。本文介绍了使用 PySpark 对数据进行清洗和 JSON 格式转换的过程。通过上述步骤，我们可以连接到远程 Spark 服务器，加载数据，应用自定义函数对数据进行清洗和格式转换，并最终保存清洗后的数据。这个流程展示了 PySpark 在数据处理中的强大功能，特别是在大规模数据集的处理和转换方面的优势。
2023-12-20 10:41:30
2105
原创 Sqoop入门：如何下载、配置和使用
Sqoop是Apache的一个开源工具，主要用于在Hadoop和关系数据库之间传输数据。：你可以从Apache的官方网站下载Sqoop。大多数企业使用的Sqoop版本是Sqoop1，例如sqoop-1.4.6或sqoop-1.4.7。需注意的是要确定下载的版本和你的Hadoop版本兼容。：将下载的Sqoop tar.gz文件解压到指定目录。：将MySQL的JDBC驱动包（例如mysql-connector-java-5.1.40-bin.jar）添加到Sqoop的lib目录下。可以从。
2023-12-20 10:38:01
1948
原创 解决 Hive 外部表分隔符问题的实用指南
在使用 Hive 外部表时，分隔符设置不当可能导致数据导入和查询过程中的问题。本文将详细介绍如何解决在 Hive 外部表中正确设置分隔符的步骤。
2023-12-19 10:47:28
1107
原创 scrapy_redis实战去哪儿旅游信息爬虫(分布式爬虫实例）
Scrapy-Redis 是 Scrapy 框架的一个扩展，用于实现分布式爬取。它基于 Redis 数据库实现了 Scrapy 的调度器、去重集和队列，使得多个爬虫节点可以共享相同的信息，并能够高效地协作。分布式爬取：Scrapy-Redis 允许多个 Scrapy 爬虫实例之间共享爬取队列和去重集合，使得爬取任务可以被多台机器分担，提高爬取效率和速度。基于 Redis 实现的调度器和去重集。
2023-12-19 10:45:23
2896
原创 Scrapy+Selenium项目实战--携程旅游信息爬虫
携程（you.ctrip.com）是一个提供旅游信息的网站，但它的部分内容可能是动态加载的，难以直接通过Scrapy获取。这时就需要借助Selenium这样的工具，模拟浏览器行为进行数据的获取和处理。通过Scrapy和Selenium的结合，我们可以构建一个能够有效获取旅游信息的爬虫。但是需要注意，爬虫在实际应用中需要遵守网站的规则，避免对网站造成过大压力或触发反爬机制。以上就是利用Scrapy和Selenium构建旅游信息爬虫的基本流程和实现方法。
2023-12-18 13:15:55
2302
原创 深入了解 Scrapy 中的 Pipelines 和 Item
在Scrapy中定义Item类很简单，通常在项目中的items.py文件中创建。# 添加其他字段...
2023-12-13 10:37:13
715
原创 探索Scrapy-spider：构建高效网络爬虫
除了以上常用的钩子函数外，我们还可以定义其他自定义的回调函数，用于处理特定页面的响应。例如，可以根据不同类型的页面定义不同的回调函数，以便从中提取数据或执行特定操作。假如我们对于一条数据的提取需要逐条发送多个请求，我们可以这样写：并使用meta存储传递信息。最终的收集完本条数据后返还item去给pip管道处理收集到的信息。
2023-12-07 22:00:04
445
原创 SmartChart：一站式数据可视化解决方案
SmartChart是一个全面的前后端数据可视化、大屏、报表和数据中台低代码开发平台。它的设计理念是简单、敏捷、高效、通用化和高度可定制化，可以让你的项目瞬间提升档次。SmartChart的目标是让每一个使用者都能够轻松地创建和分享美观、有洞察力的图表和仪表板。
2023-12-07 19:15:59
1756
原创 探索Scrapy中间件：自定义Selenium中间件实例解析
Scrapy中间件是在Scrapy引擎处理请求和响应的过程中，允许你在特定的点上自定义处理逻辑的组件。它们在整个爬取过程中能够拦截并处理Scrapy引擎发送和接收的请求和响应。全局性处理请求和响应： 中间件可以截取所有请求和响应，允许你对它们进行全局性的修改，例如添加自定义的请求头、代理设置或处理响应数据等。自定义爬取过程： 通过中间件，你可以自定义爬取的逻辑。例如，在请求被发送之前，可以通过中间件对请求进行处理，或者在收到响应后对响应进行预处理，以适应特定需求或网站的要求。
2023-11-17 17:45:59
1388
2
原创 初识Scrapy：Python中的网页抓取神器
Scrapy是一个基于Python的快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。它广泛应用于数据挖掘、监测和自动化测试等领域。Scrapy的强大之处在于它是一个框架，可以根据实际需求进行修改和扩展。
2023-11-17 17:44:15
298
原创 探索主题建模：使用LDA分析文本主题
主题建模是一种用于从文本数据中提取主题或话题的技术。主题可以被视为文本数据的概括性描述，它们涵盖了文本中的关键概念。主题建模可以应用于各种领域，如文档分类、信息检索、推荐系统等。主题建模是文本挖掘领域的重要技术，可以自动发现文本数据中的主题。LDA是一种常用的主题建模方法，可以通过Python和Gensim库进行实现。通过文本预处理、模型训练和结果分析，可以有效地提取文本数据中的隐藏主题，用于各种应用。
2023-11-03 18:05:44
13355
6
原创 在Flask中实现文件上传七牛云中并下载
文件上传是Web应用中常见的功能之一，而七牛云则提供了强大的云存储服务，使得文件存储和管理变得更加便捷。在本篇博客中，我们将学习如何在Flask应用中实现文件上传，并将上传的文件保存到七牛云。
2023-11-03 18:02:47
626
原创 深入理解Promise.all和Promise.race
theme: fancy在现代的JavaScript编程中，处理异步操作是一个常见的任务。为了更加优雅地处理异步代码，ES6引入了Promise这一概念，它是一种用于处理异步操作的设计模式，提供了一种更结构化、更可靠的方式来处理异步任务。本文将深入探讨JavaScript中的Promise以及其两个常用方法：Promise.race() 和 Promise.all()。1. Promi...
2023-08-23 12:43:54
1065
原创 C语言和JavaScript中的默认排序行为对比
今天在js里使用sort时遇见了一个不理解的现象即使用sort默认排序后 9 从排序前的第一位被排到了最后一位.一开始我对js sort的理解和c一样，然后通过查阅后发现并不是这样.
2023-08-21 22:28:25
685
原创 踩坑经验：JavaScript 中的 for...of 和 for...in 循环
在 JavaScript 编程中，for...of和for...in是常用的循环语法，但它们在使用时可能会引发一些意想不到的问题。本文将分享我在使用这两种循环时所遇到的坑和经验。
2023-08-17 19:36:13
1203
原创 解决Element Plus中Select在El Dialog里层级过低的问题（修改select选项框样式）
在使用Element Plus的``组件时，很多情况下我们需要在对话框内部使用``组件，以提供用户选择的功能。然而，由于``会创建一个新的层级（z-index）上下文，而``默认的z-index值较低，可能导致下拉选项框被其他元素覆盖，无法正确显示。最近遇见了这个问题后通过查阅最终解决，特此分享.
2023-08-06 20:37:28
4532
2
原创 在Vue中使用深度选择器定制Element Plus组件样式
在Vue.js开发中，我们经常使用Element Plus作为UI组件库，它提供了丰富的组件供我们使用。然而，有时候我们希望对Element Plus的组件样式进行一些定制，比如调整字体大小、改变颜色等。在这篇博客中，我们将介绍如何使用深度选择器::v-deep和:deep来实现在Vue项目中定制Element Plus组件样式的方法。
2023-07-31 15:40:29
1225
原创 vue3访问子组件的 DOM 元素的方法总结
在 Vue 3 中，访问子组件的 DOM 元素是一个常见的需求。本文将介绍如何在 Vue 3 中使用不同的方法来获取子组件的 DOM 元素。
2023-07-03 13:43:07
5433
原创 Vuex入门教程：状态管理库的安装、使用和实例演示
Vuex是Vue.js的官方状态管理库，用于管理应用程序的状态。本篇博客将介绍如何安装Vuex、创建Vuex Store，并在Vue应用中使用Vuex来访问和修改状态。同时，我们将提供一个实例演示，以更具体地展示Vuex的用法。
2023-06-26 19:25:34
1149
Spark RDD弹性分布式数据集
2022-09-28
数据工程综合课设报告-创建广电用户画像
2023-10-11
数据采集课设报告（网络爬虫-Python，Kafka与MySQL的组合使用-Java）
2022-12-28
数据工程基础课设报告（MapReduce+hive）
2022-12-17
java课程设计实验报告(1).doc
2021-12-30
Python中运行js报错
2024-06-19
捕捉信号量，但是在Linux中不知道为什么没有捕捉到信号量
2024-05-28
关于#python#的问题：flask怎么在接口发送响应后紧跟着触发目标函数啊
2024-05-07
pyspark查询处理两个hive表出错
2023-12-19
vue-router4路由报Vue Router warn]: No match found for location with path，进页面组件也没有成功添加进去基础路由，如何解决？
2023-09-18
为什么我的select在其他地方就能用,放在el-dialog弹窗里就不渲染可选项?
2023-08-04
引入weui steps报错not found是怎么回事啊？
2023-03-27
微信小程序发送post请求参数获取时出问题.
2023-02-22
微信小程序进行条件渲染时出错.
2023-02-19
云环境运行Python flask框架出错
2022-12-27
scala链接redis报错.
2022-11-16
vue调用api报错找不到函数.
2022-08-19
在vue中 我想用::after伪类选择器给文本后边加一个动态的信息.
2022-08-13
微信小程序修改云数据库信息失败.
2022-07-09
微信小程序js 把多个信息存放到一个列表变量时出错.
2022-07-12
微信小程序里想要用js实现数组去重.使用set的时候不知道为什么报错.
2022-07-08
微信小程序从缓存里获取信息提示that is not defined.
2022-07-07
微信小程序 图片电脑模拟器时显示但实机测试时却不显示.
2022-06-03
c++里边string类用数组的形式输入为什么无法用cout输出？
2021-07-18
python selenium库添加cookie,登录时还是没有登录上，如何解决？
2022-05-09
Servlet的数据该怎么转发到客户端的jsp页面?
2022-04-25
Python 在没有换行的情况下直接获取缓冲区键入的数据，如何解决？
2022-04-03
Hadoop 分布式系统中 yarn集群启动时报错 node03: ERROR: Cannot set priority of resourcemanager process 1615
2021-11-04
Python sqlist 基础条件查询语句出错
2021-11-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人