- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据分析核心技术：从入门到实战
不是 “玩数据”，而是 “用数据解决问题”。基础是关键：Python 数据处理（pandas）、统计学基础是所有分析的前提；实操是核心：脱离代码的理论学习毫无意义，要多动手、多调试；解读是价值：模型结果本身无意义，结合业务场景的解读才是分析的价值所在。大数据分析并非 “高大上” 的抽象概念，而是一套 “从数据中找规律、用规律做决策” 的实用方法。作为初学者，我深知这条路需要持续的学习和实操，但只要保持 “重基础、重实操、重解读” 的原则，就能逐步从 “会用工具” 到 “会解决问题”。
2026-01-07 09:23:00
794
原创 以Hadoop为锚点：大数据分布式技术的学习感悟与能力跃迁
/ 1. 复用Reducer作为Combiner（局部聚合，减少Shuffle数据量）// 2. 自定义Partition：按单词首字母分区，均衡Reduce负载@Override// 按单词首字母哈希值分区// 驱动类中配置自定义Partition// 设置Reduce任务数量（与分区数对应）如果说知识与技能是Hadoop课程的“显性收获”，那么善于思考、善于总结的学习习惯，则是这门课程带给我的“隐性财富”，也是编程类、软件工程类课程学习的核心要义。
2025-12-26 11:05:27
1077
1
原创 Hadoop课程学习心得：以分布式思维破局，用思考总结筑基
在大数据技术飞速迭代的当下，Hadoop作为分布式计算与存储的核心框架，早已成为大数据从业者的必备技能。此前，我对Hadoop的认知仅局限于“分布式生态”“大数据处理”等表层概念，甚至将其等同于“简单的集群部署工具”。直到完整走完Hadoop课程的学习旅程，从HDFS分布式文件系统的架构拆解到MapReduce的计算逻辑实现，从YARN的资源调度优化到Hive、HBase的实战落地，我不仅系统掌握了核心技术与专业术语，更在一次次“遇错-排查-复盘-优化”的循环中，养成了善于思考、勤于总结的学习习惯，深刻体会
2025-12-26 10:52:45
474
原创 数据可视化实践经验与专业心得
数据可视化实践与专业心得：从技术到业务的价值闭环 摘要：本文系统总结了大数据可视化实践经验，揭示了数据预处理对可视化质量的决定性影响（70%权重），强调通过ETL清洗、异常值处理等技术保障数据质量。在工具选择上需匹配数据规模，如Apache Superset处理TB级实时数据。重点指出业务理解与视觉编码的协同性，通过多维交叉分析避免认知偏差，并展示了如何将技术指标转化为业务语言（如设备故障→生产停滞时长）。最终提出数据可视化的三重进阶：从图形呈现到决策闭环，再到未来AI驱动的智能化交互，强调大数据从业者需兼
2025-10-16 14:59:10
659
原创 拓展任务5.2 聚类
本文展示了2021年订单数据的读取与预处理过程。首先使用Pandas、NumPy、Matplotlib和PyEcharts等工具导入数据，并设置中文字体显示。通过pd.read_excel()读取Excel格式的订单数据，包含订单编号、金额、渠道、平台类型等11个字段。数据预处理阶段检查了数据完整性，发现104557条记录中仅渠道编号存在少量缺失值，无重复数据。统计描述显示订单金额均值为1049元，付款金额均值为1167元。最终筛选出未退款的订单数据作为分析基础，为后续建模和可视化分析做好准备。
2025-06-13 13:51:03
967
原创 Untitled (2)
该代码展示了如何进行数据清洗、分析和可视化，主要功能包括： 数据加载与清洗： 从CSV文件加载数据，并提取患者性别和年龄信息 处理缺失值和日期格式，统一为YYYY-MM-DD格式 新增年份和月份列便于后续分析 数据分析与可视化： 绘制性别分布饼图，展示不同性别患者比例 绘制年龄分布柱状图，将年龄分段统计（儿童、青少年、青年等） 使用Pyecharts库生成交互式图表，支持自定义主题和样式 数据处理特点： 采用正则表达式增强数据提取的健壮性 包含异常值处理逻辑（如新生儿年龄转换） 提供详细的数据清洗步骤和可视
2025-06-06 12:40:26
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人