Hadoop
Hadoop简单介绍
月苍.
这个作者很懒,什么都没留下…
展开
-
Sqoop安装教程及使用
Sqoop安装 Sqoop从MySql导入HDFS中 命令语法:sqoop import (控制参数) (导入参数) 命令元素:导入操作,数据源,访问控制,导入控制,目标地址 导入数据之前需要将驱动jar放入Sqoop安装文件夹下的lib中 进行导入 sqoop import \ --connect jdbc:mysql://ip:3306/test_database \ --driver com.mysql.jdbc.Driver \ --username root \ --password 12原创 2020-12-01 18:42:17 · 224 阅读 · 0 评论 -
YARN基础教程
概述 YRAN (Yet Another Resource Negotiator) Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce框架设计的不足,在原MapReduce框架上进行修改变得越来越困难,所以MapReduce的committer决定从架构上重新设计MapR原创 2020-06-12 09:37:53 · 446 阅读 · 0 评论 -
Hadoop
Hadoop生态圈 HDFS:Hadoop Distributed File System作为Hadoop生态体系中数据的存储,分布式文件系统 MapReduce:Hadoop中分布式计算框架,对海量数据进行并行分析和计算 Hbase:基于HDFS的列式存储的Nosql数据库 Hive:是一款SQL解释引擎,能够将Sql转换成为MR代码 Flume:分布式日志采集系统,用于收集海量的日志数据,并将其存储在HDFS中 Kafka:消息队列,实现对分布式应用程序间的解耦和,数据缓冲 Zookeeper:分布式原创 2020-06-08 23:01:40 · 133 阅读 · 0 评论