- 博客(53)
- 收藏
- 关注
RSS订阅原创 基于泰坦尼克号生还数据进行 Spark 分析
在这篇博客中，我们将展示如何使用 Apache Spark 分析著名的泰坦尼克号数据集。通过这篇教程，您将学习如何处理数据、分析乘客的生还情况，并生成有价值的统计信息。
2024-07-09 15:06:07
1067
原创 spark on k8s两种方式的原理与对比
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些已有 Spark 使用经验的用户。它操作简便，无需额外组件，灵活性较高。但在大规模和自动化需求较高的场景中，管理和扩展的能力相对较弱。
2024-07-02 11:56:48
798
原创 基于协同过滤的电影推荐与大数据分析的可视化系统
通过本文，我们展示了如何使用Python进行数据爬取，如何将数据导入Hive进行分析，如何使用ECharts进行数据可视化，以及如何使用协同过滤算法进行电影推荐。这个流程展示了从数据采集、数据分析到数据可视化和推荐系统的完整数据处理流程。
2024-06-26 14:30:00
379
原创 使用Scala爬取安居客房产信息并存入CSV文件
这个Scala程序演示了如何使用HTTP请求和HTML解析库来构建一个简单的网络爬虫，用于从安居客网站上获取房产信息，并将这些信息存储到CSV文件中。
2024-06-21 15:28:06
436
原创 使用Hadoop MapReduce实现各省学生总分降序排序，根据省份分出输出到不同文件
通过以上步骤，我们实现了一个Hadoop MapReduce作业来对各省的学生总分进行降序排序，并将结果写入不同的文件中。
2024-06-12 17:06:35
430
1
原创 使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
通过以上两个代码示例，我们使用PySpark成功地计算了北京各城区内每辆车的位置点数，并统计了出租车的数量。这些分析可以帮助我们更好地理解出租车在各个城区的分布情况，进而为城市交通管理提供数据支持。
2024-06-11 11:08:08
951
2
原创 使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
本文将展示如何使用Hadoop MapReduce来分析邮件日志，提取邮件的发送状态（成功、失败或退回）和目标邮箱。
2024-06-05 19:13:59
1497
1
原创 Flink实现实时异常登陆监控（两秒内多次登陆失败进行异常行为标记）
从 MySQL 数据库读取用户登录数据。过滤出特定状态的登录记录。对这些记录进行时间窗口处理。将异常登陆结果写回 MySQL 数据库。
2024-05-31 17:31:55
630
1
原创 spark实战：实现分区内求最大值，分区间求和以及获取日志文件固定日期的请求路径
在本文中，我们将通过两个具体的编程任务来展示Spark的强大功能：首先是对一个简单的数据列表进行分区操作，并在每个分区内求最大值以及跨分区间求和；其次是从Apache日志文件中提取特定日期的请求路径。
2024-05-26 12:34:15
508
原创 基于机器学习预测未来的二氧化碳排放量（随机森林和XGBoost）
本文将使用Python对OWID提供的CO2排放数据集进行分析，并尝试构建机器学习模型来预测未来的CO2排放趋势。我们将探索数据集中的CO2排放情况，分析各国/地区的排放趋势，并利用机器学习算法来预测未来的CO2排放量。
2024-05-24 15:54:37
1830
原创 基于机器学习模型预测信用卡潜在用户（XGBoost、LightGBM和Random Forest）
本项目旨在使用机器学习模型预测哪些客户最有可能成为信用卡的潜在客户。我们将使用三个主要的机器学习模型：XGBoost、LightGBM和随机森林（Random Forest）
2024-05-23 16:43:50
1251
原创 使用PySpark构建和评估逻辑回归模型预测质量是否合格
PySpark作为大数据处理框架Apache Spark的Python API，为大规模数据处理和机器学习提供了强有力的支持。PySpark作为一个强大的大数据处理工具，能够有效地处理大规模数据，并应用机器学习算法进行建模和分析。在进行机器学习模型训练前，数据预处理是一个关键步骤。我们需要对数据可视化分析，来明确接下来的操作。
2024-05-22 17:16:33
380
原创 使用决策树对金融贷款数据进行分析
在本篇博客中，我们将通过使用 Python、Pandas 和多种机器学习技术，对一组贷款数据进行全面分析。通过详细的步骤展示，你将学会如何进行数据预处理、可视化分析以及构建预测模型。通过这些步骤，我们成功地对贷款数据进行了分析和建模，希望这篇教程能够帮助你更好地理解数据科学的工作流程。
2024-05-20 17:02:50
683
原创 使用Spark高效将数据从Hive写入Redis (功能最全)
开发了一个Spark应用程序，能够高效地将数据从Hive写入Redis。我们使用了Spark的分布式计算能力和Jedis库的灵活性，使得数据传输过程稳健高效。
2024-05-16 17:32:17
584
原创 基于PySpark进行去哪儿网数据分析
使用PySpark提供的各种DataFrame操作来分析数据集，统计、聚合、排序等。本文介绍了如何使用PySpark对去哪儿网的数据进行分析，从而洞察用户偏好、热门目的地以及销售趋势。
2024-05-14 14:35:46
568
原创 MySQL基础指南：从入门到精通
本文介绍了MySQL的基本概念、常用操作、数据类型和查询语句等内容。希望通过本文的学习，你能够掌握MySQL数据库的基础知识，并能够应用到实际项目中。
2024-05-14 11:05:53
1198
原创 机器学习入门：使用Scikit-learn进行实践
Scikit-learn（简称Sklearn）是一个用于机器学习任务的Python库，它包含了许多用于分类、回归、聚类、降维和模型选择的工具。它建立在NumPy、SciPy和Matplotlib之上，为机器学习的实验提供了一个简单而高效的解决方案。
2024-05-13 16:36:54
819
原创 使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
在本文中，将介绍如何构建一个实时数据pipeline，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据存储到HDFS中。通过本文的介绍和示例代码，您现在应该了解如何使用Apache Spark构建一个实时数据流水线，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据保存到HDFS中。
2024-05-13 10:50:03
970
1
原创 基于spark的医疗大数据可视化大屏项目
本文将介绍如何利用Apache Spark进行大规模心力衰竭临床数据的分析，并结合机器学习模型，构建一个交互式的可视化大屏，以直观展示数据分析结果。使用PySpark库，我们首先读取CSV文件中的心力衰竭临床记录数据，并进行必要的数据清洗工作，包括处理缺失值和异常值。血小板计数与死亡事件：通过堆叠条形图展示不同血小板计数范围的死亡事件数量。糖尿病与死亡事件图表：散点图展示糖尿病患者的死亡事件数量，分析糖尿病患者的死亡事件数量。
2024-04-21 17:42:29
1286
2
原创 Python爬虫网络实践：去哪儿旅游数据爬取指南
我们将通过一个简单的示例来说明如何利用 Python 中的常用库进行网页抓取，从而获取旅游网站上的信息。主函数部分负责执行代码的主要逻辑，包括创建 CSV 文件、定义要爬取的城市和对应的 URL，以及循环遍历城市列表并调用 get_page 函数来爬取数据。通过以上步骤，我们实现了一个简单的网页抓取程序，用于抓取旅游网站上的景点信息，并将数据存储到 CSV 文件中以供后续分析和处理。
2024-04-10 17:39:57
2255
原创 实现多文件合并和去重的MapReduce作业
通过上述MapReduce作业，我们成功地将多个文件合并成一个文件，并且去除了重复的行。我们有多个文本文件，每个文件包含一些文本行。我们的目标是将这些文件合并成一个文件，并去除重复的行，最终得到一个去重后的文本文件。
2024-04-10 17:16:51
962
原创 基于机器学习的信用卡办卡意愿模型预测项目
通过本项目，我们使用了机器学习模型预测了客户的信用卡办卡意愿，并通过Django实现了数据的可视化展示。这使得银行和金融机构能够更好地理解客户行为模式，并做出相应的业务决策。如有遇到问题可以找小编沟通交流哦。另外小编帮忙辅导大课作业，学生毕设等。不限于python，java，大数据，模型训练等。
2024-04-08 18:35:47
998
原创 基于Spark中随机森林模型的天气预测系统
使用Apache Spark和随机森林算法来构建一个天气预测系统。该系统将利用历史天气数据，通过机器学习模型预测未来的天气情况，特别是针对是否下雨的二元分类问题。
2024-04-06 15:21:17
1215
原创 基于spark分析以springboot为后段vue为前端的大学生就业管理系统
本文将介绍如何通过爬虫采集数据，利用Spark进行数据分析处理，再结合Spring Boot后端服务和Vue前端技术，搭建一个功能全面的大学生就业管理系统。1.1 爬虫设计首先，我们需要设计一个爬虫程序来从猎聘网采集数据。爬虫程序应该具备以下功能：**数据提取：**精确提取职位描述、要求、薪资等关键信息。**异常处理：**能够处理网络请求失败、页面结构变化等异常情况。
2024-04-06 10:29:48
1057
1
原创 利用Spark将Kafka数据流写入HDFS
在这篇博客中，我们介绍了如何使用Spark读取Kafka中的数据流，并将这些数据以CSV格式写入到HDFS中。
2024-04-04 22:13:40
1937
1
原创 使用 Flume 将 CSV 数据导入 Kafka：实现实时数据流
文介绍了如何使用 Apache Flume 将 CSV 格式的数据从本地文件系统导入到 Apache Kafka 中，以实现实时数据流处理。通过 Flume 的配置和操作步骤，我们可以轻松地将数据从 CSV 文件中读取并发送到 Kafka 主题中，为后续的实时数据分析和处理提供了便利。
2024-04-03 14:43:47
896
原创 使用 PySpark 读取csv数据进行分析，将结果数据导入招聘数据
我们从设置 PySpark 环境开始，然后读取 CSV 文件中的数据，进行数据分析，最后将分析后的数据导入到 MySQL 数据库中。通过利用 PySpark 的功能，组织可以获得有价值的见解，优化他们的招聘流程并做出数据驱动的决策。一旦我们分析了数据，可能希望将其存储在 MySQL 数据库中以进行进一步处理或报告。我们将定义一个函数将 DataFrame 写入 MySQL，导入数据之前需要创建mysql表。我们的招聘数据存储在一个 CSV 文件中。接下来，我们将对招聘数据进行一些基本的数据分析。
2024-04-02 18:37:17
821
原创 基于opencv的SVM算法的车牌识别系统设计与实现
牌识别技术是智能交通系统中的一项关键技术，它能够自动识别车辆的车牌号码。本文将详细介绍如何使用Python编程语言结合OpenCV库和SVM算法来实现车牌识别系统。
2024-03-31 10:56:31
1255
原创 通过mapreduce程序统计旅游订单（wordcount升级版）
通过MapReduce程序对旅游产品预订数据的分析，我们能够洞察到消费者的偏好和行为模式。这些信息对于旅游企业来说是宝贵的，可以帮助他们更好地定位市场，设计符合消费者需求的产品，并最终提高客户满意度和市场份额。随着数据分析技术的不断进步，旅游行业将能够更加精准地满足消费者的需求，推动行业的持续发展。这个程序的目的是处理一个包含旅游产品预订信息的文本文件，并统计每个产品特性的出现次数。本文将结合一个实际的MapReduce程序案例，探讨如何通过分析旅游产品的预订数据来揭示消费者的偏好。
2024-03-31 10:01:31
917
原创 基于随机森林的信用卡满意度模型预测
首先从数据预处理开始，包括数据读取、清洗和特征工程，以确保数据质量和适用性。接着，通过可视化分析了贷款金额、贷款等级和贷款状态等关键特征，以便更好地理解数据。随后，使用随机森林分类器进行模型训练，并评估了模型在测试集上的性能，包括准确率、精确率、召回率和F1值等指标。最终，通过优化模型并展望未来的研究方向，为金融业务的发展提供了重要参考。
2024-03-31 09:03:32
866
原创 使用Flink实现Kafka到MySQL的数据流转换：一个基于Flink的实践指南
在现代数据处理架构中，Kafka和MySQL是两种非常流行的技术。定义Kafka数据源表：我们使用一个SQL语句创建了一个Kafka表re_stock_code_price_kafka，这个表代表了我们要从Kafka读取的数据结构和连接信息。定义MySQL目标表：然后，我们定义了一个MySQL表re_stock_code_price，指定了与MySQL的连接参数和表结构。数据转换和写入：最后，我们执行了一个插入操作，将从Kafka读取的数据转换并写入到MySQL中。
2024-03-30 17:44:36
1411
原创 使用Flink实现MySQL到Kafka的数据流转换
本篇博客将介绍如何使用Flink将数据从MySQL数据库实时传输到Kafka，这是一个常见的用例，适用于需要实时数据connector的场景。
2024-03-30 17:36:58
758
原创 基于Hive大数据分析springboot为后端以及vue为前端的的民宿系
本文介绍了如何利用Hive进行大数据分析，并结合Spring Boot和Vue构建了一个民宿管理系统。该民民宿管理系统包含用户和管理员登陆注册的功能，发布下架酒店信息，模糊搜索，酒店详情信息展示，收藏以及对收藏的酒店进行排序可视化，管理员发布，添加用户的功能。
2024-03-29 12:09:09
1954
1
原创 使用Apache Flink实现MySQL数据读取和写入的完整指南
在这里，我们计算了股票涨跌情况，并将结果写入到目标表中。在这个例子中，我们假设change_percent字段表示股票价格的变化百分比，rise字段为1表示股票上涨，为0表示股票下跌。同时需要提前创建好mysql表，一行source表，一张sink表。在这段代码中，我们首先创建了Flink的流式执行环境和StreamTableEnvironment。然后，我们定义了两个临时表，用于存储原始股票数据和清洗后的数据。接下来，我们执行数据清洗操作，并将结果写入目标表。最后，我们查询目标表并打印结果。
2024-03-28 19:28:13
1862
原创 mapreduce 实现带有ex前缀的词频统计wordcount 大作业
我们将介绍如何使用MapReduce来实现带有一点变化的词频统计，特别是我们将关注以“ex”前缀开头的单词。通过结合代码和解释，让我们一起深入探讨“ExWordCount2”的奥秘。
2024-03-28 19:17:57
372
原创 基于SSM框架实现的快递配送平台
本文将介绍一款基于SSM框架的校园互助配送快递平台的设计与实现，旨在解决这些问题，提升校园快递配送的效率和用户体验。基于SSM框架实现的快递配送平台成功实现了预期目标，有效解决了校园快递配送中存在的问题。未来，我们将继续优化系统功能，提高用户体验，并探索与校园管理系统的对接，以实现更加智能化的校园快递服务。通过本项目的设计与实现，我们不仅提升了校园快递配送的效率，也为校园内的互助合作精神提供了新的实践平台。为了解决这些问题，我们提出了基于学生互助的快递配送模式，并开发了相应的校园互助配送快递平台。
2024-03-27 15:58:30
349
原创 学员健康管理系统 大作业
欢迎阅读本篇博客，我们将介绍如何优化一个基于 Python 和 MySQL 的用户管理系统。该系统旨在提供管理员和普通用户角色的功能，并包括用户管理、体检报告记录、医学知识库等功能。通过本指南，您将了解系统的重点功能以及如何结合代码进行解释。普通用户菜单提供了学员区队、学员信息、体检项目、体检报告、医学知识库等功能选项。用户可以根据需要选择相应的功能进行操作。系统将查询数据库以验证用户凭据的有效性，并根据结果跳转到相应的菜单页面。管理员菜单提供了用户管理功能，包括修改用户密码、删除用户、添加用户等。
2024-03-27 15:18:22
471
原创 基于spark的大数据分析预测地震受灾情况的系统设计
在本篇博客中，我们将介绍如何使用Apache Spark框架进行地震受灾情况的预测。我们将结合数据分析、特征工程、模型训练和评估等步骤，最终建立一个预测模型来预测地震造成的破坏程度，同时使用可视化大屏的方式展示数据的分布。我们使用了合并后的地震数据作为我们的数据集。
2024-03-25 17:00:45
1465
原创 豆瓣短评大数据分析：探索用户观影趋势与情感倾向
首先，我们编写Mapper函数和Reducer函数，然后对短评数据执行Map和Reduce操作，最终得到各个评分的评论数量统计并保存为CSV文件。我们首先利用Python的Pandas库加载豆瓣短评数据，并统计不同IP属地的评论数量。在本文中，我们将结合Python编程和大数据分析的技术，对豆瓣短评数据进行探索性分析，以洞察用户的地域分布、评分偏好以及对影片的情感倾向。最后，我们利用词云技术对豆瓣短评中的评论文本进行可视化。通过对评论文本的词频统计，生成词云图展示了用户在评论中提及频率较高的关键词。
2024-03-25 14:39:48
399
基于SSM框架实现的快递配送平台
2024-03-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人