大数据技术之Hadoop学习
文章平均质量分 94
Hadoop的认识与入门
雨诺风
在校摸鱼
展开
-
基于Hadoop生态的相关框架与组件的搭建
本篇文章,着重与Hadoop生态的相关框架与组件的搭建,以及不同框架或组件之间的依赖配置,使读者能够熟悉与掌握Hadoop集群的搭建,对于Hadoop生态有一定的认识。本次搭建三台虚拟机为hadoop01.bgd01、hadoop02.bgd01、hadoop03.bgd01,hadoop01.bgd01为主节点,其中所需的素材,笔者已放入网盘中,有需要的的可自行下载。关于虚拟机的搭建,可参考笔者之前的系列文章,这里只对虚拟机的一些配置进行描述。原创 2023-04-09 22:05:46 · 1697 阅读 · 2 评论 -
大数据技术之Hadoop学习(一)
大数据技术学习之Hadop集群搭建与体验原创 2022-12-31 01:06:19 · 702 阅读 · 8 评论 -
大数据技术之Hadop学习(二)
本文章主要讲述HDFS的概念,以及分享案例,供大家参考。原创 2023-01-02 01:35:13 · 569 阅读 · 3 评论 -
大数据技术之Hadoop学习(三)
大数据技术学习之Hadoop的Java API操作原创 2023-01-03 18:15:56 · 371 阅读 · 1 评论 -
大数据技术之Hadoop学习(四)——MapReduce
本文章主要简述关于MapReduce的认识以及经典案例分享。原创 2023-01-04 23:56:48 · 1471 阅读 · 1 评论 -
大数据技术之Hadoop(五)——Zookeeper
Zookeeper的安装与认识原创 2023-01-09 01:17:00 · 1143 阅读 · 0 评论 -
大数据技术之Hadoop学习(六)——高可用集群搭建
hadoop高可用集群的认识与搭建原创 2023-01-10 00:44:18 · 1791 阅读 · 0 评论 -
大数据技术之Hadoop学习(七)——Hive数据仓库
Hive数据仓库的认识与操作原创 2023-01-12 00:52:02 · 2535 阅读 · 0 评论 -
大数据技术之Hadoop(八)——Flume日志采集系统
Flume日志采集系统的认识与操作原创 2023-01-15 23:34:18 · 3656 阅读 · 0 评论 -
大数据技术之Hadoop学习(九)——Azkban工作流管理器
Azkaban 是 LinkedIn 公司创建的批处理工作流作业调度程序,用于运行Hadoop作业。Azkaban 通过作业依赖性解决业务调度顺序,并提供易于使用的 UI 来维护和跟踪工作流程,其主要特点如下。(1)兼容任何版本的 Hadoop;(2) 易于使用的 Web UI;(3)简单的Web和 HTTP工作流上传;(4)支持工作流定时调度;(5)支持模块化和可插人;(6)支持身份验证和授权;(7)支持用户操作跟踪;(8)提供有关失败和成功的电子邮件提醒;原创 2023-01-19 23:50:32 · 1060 阅读 · 0 评论 -
大数据技术之Hadoop(十)——Sqoop数据迁移
Sqoop 是 Apache 旗下的一款开源工具,该项目开始于2009年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速迭代开发,在2013年,独立成为 Apache 的一个顶级开源项目。Sqoop 主要用于在 Hadoop 和关系数据库或大型机器之间传输数据,可以使用 Sqoop 工具将数据从关系数据库管理系统导入到 Hadoop 分布式文件系统中,或者将 Hadoop 中的数据转换导出到关系数据库管理系统。原创 2023-01-21 00:10:42 · 1209 阅读 · 0 评论 -
大数据技术之Hadoop(十一)——网站流量日志数据分析系统
大数据实战项目之网站流量日志数据分析系统分享原创 2023-01-22 02:19:12 · 7303 阅读 · 8 评论