大数据
972579
这个作者很懒,什么都没留下…
展开
-
Hadoop集群HA高可用搭建
使用7台虚拟机搭建hadoop与yarn的HA 主机名 安装软件 运行的进程 hadoop1 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop2 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop3 jdk、原创 2017-12-04 12:50:10 · 233 阅读 · 0 评论 -
Linux上的伪分布式hadoop安装
1.在Linux上安装hadoop 1)配置安装并配置JDK JDK下载路径 根据Linux系统的版本选择64位或32位下载,官方现提供rpm和tar.gz两种版本下载。 上传至linux 服务器并解压 tar -zxvf jdk-8u144-linux-x64.tar.gz 将解压好的JDK文件夹移动至 /usr/local/ 目录下 mv jdk1.8.0原创 2017-08-17 20:08:47 · 362 阅读 · 0 评论 -
Flume安装及使用
FLume安装1.Flume结构图1.简单结构2.复杂结构 2.Flume运行机制1、 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成2、 每一个agent相当于一个数据传递员 ,内部有三个组件:a) Source:采集源,用于跟数据源对接,以获取数据b) Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或原创 2017-12-04 15:45:49 · 185 阅读 · 0 评论 -
Sqoop安装
概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的文件系统中导出数据到关系数据库 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行原创 2017-12-04 16:39:34 · 171 阅读 · 0 评论 -
Kafka安装配置
Kafka核心组件 Topic :消息根据Topic进行归类 Producer:发送消息者 Consumer:消息接受者 broker:每个kafka实例(server) Zookeeper:依赖集群保存meta信息。 安装 安装在三个节点,分别为 mini1、mini2、mini3 1.下载并解压 tar -zxvf kafka_2.11-0.10.2.1.tar.gz -原创 2017-12-04 17:34:45 · 166 阅读 · 0 评论 -
Hive集群安装
为什么使用Hive1.直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.操作接口采用类SQL语法,提供快速开发的能力。 避免了去写MapReduce,减少开发人员的学习成本。 扩展功能很方便。Hive安装1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /usr/local原创 2017-12-04 15:20:06 · 168 阅读 · 0 评论