hadoop大数据技术-安装部署与技术总结
关注
分享
扫一扫
文章平均质量分 90
以Hadoop生态圈为核心，涵盖集群部署与相关组件的原理，基本应用
IT从业者张某某
致力成为一个做事高效，待人认真，对社会产生价值的人
展开
-
hadoop-Zookeeper安装
本文主要描述zookeeper的安装过程原创 2024-10-24 08:40:32 · 1391 阅读 · 0 评论 -
week08 zookeeper多种安装与pandas数据变换操作-new
本文是第8周的hadoop与数据导入预处理课程，包括zookeeper的安装与基于pandas的数据变换操作，并提供了sql窗口函数的说明原创 2024-10-23 13:00:33 · 3028 阅读 · 26 评论 -
HDFS分布式文件系统01-HDFS JAVA操作与联邦机制
本文关于HDFS的JAVA操作和联邦机制原创 2024-09-24 10:25:55 · 1159 阅读 · 0 评论 -
HDFS分布式文件系统01-HDFS架构与SHELL操作
本文主要完成HDFS架构的描述，hdfs dfs的命令操作，并提供一个定时调度的脚本原创 2024-09-23 16:59:18 · 1602 阅读 · 0 评论 -
2-网站日志分析案例-日志采集:Flume-Kafka-Flume-HDFS
本文主要实现了基于flume+kafka+flume的完整日志采集过程，并针对一些必备的安装过程和使用命令进行简单介绍。原创 2022-01-02 23:32:36 · 3094 阅读 · 0 评论 -
4-网站日志分析案例-日志数据统计分析
本文为网站日志分析案例的第4部分，基于MR清洗后的数据导入HIVE中，然后进行统计分析。原创 2021-12-28 11:55:43 · 1500 阅读 · 0 评论 -
3-网站日志分析案例-MapReduce执行日志清洗
本文网站日志分析案例中的第3部分。本文主要实现日志的清洗，将54w条日志数据进行清洗，清洗后得到17w条数据。原创 2021-12-28 10:43:05 · 1200 阅读 · 0 评论 -
2-网站日志分析案例-基于Flume采集WEB日志-windows版本
本文主要基于Flume实现了日志的采集，本文案例不复杂，但由于基于windows实现的案例不多，笔者尽量把自己遇到的问题描述在博客中，包括编码问题和配置的注意事项，减少大家的试错成本。原创 2021-12-21 14:02:16 · 1734 阅读 · 0 评论 -
Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址
文章目录Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址如果过期，请留言，我会及时更新链接...原创 2021-12-14 16:25:20 · 2632 阅读 · 18 评论 -
Hadoop大数据技术课程设计说明
本文主要为2021年-2022年Hadoop大数据技术课程设计的相关说明原创 2021-12-13 10:23:27 · 14358 阅读 · 4 评论 -
Hadoop大数据技术课程总结2021-2022学年第1学期
本文为Hadoop大数据技术课程总结，包括大数据概述，HDFS，MapReduce，Yarn，Hive，Zookeeper，Flume的基本介绍，部分内容附上了可供参考的链接，希望通过本博客的学习，各位学生能有所得，欢迎留言回复问题原创 2021-12-04 21:05:47 · 14109 阅读 · 12 评论 -
Ububtu18.04安装Flume1.9.0以及相关知识点
本文基于Ububtu18.04完成Flume1.9.0安装与基本使用，并结合官网对Flume的相关知识进行重点描述原创 2021-11-18 11:33:45 · 1815 阅读 · 0 评论 -
Ububtu18.04安装Zookeeper3.5.7
本文主要基于Ububtu18.04完成Zookeeper3.5.7的standlone，伪分布部署，并提出全分布的部署方式。原创 2021-11-12 13:10:19 · 1847 阅读 · 3 评论 -
Ububtu18.04安装Hadoop3.1.3全分布集群-持续更新问题集
本文主要基于Ububtu18.04完成Hadoop3.1.3的安装，并附带遇到的问题以及解决方案，目的在于读者可以根据本文无缝的完成集群部署，有遇到问题，请留言，看到会及时回复，如果有新的内容，本文会持续更新。原创 2021-11-05 11:05:32 · 1914 阅读 · 0 评论