hadoop
尘缘未了-
执着
展开
-
hadoop-2.6.0-cdh5.7.1搭建
一、配置ssh、hosts、静态ip、hostname,java环境二、解压 tar -zxvf hadoop,mv改名,配置环境变量bin和sbin 1.hadoop version验证一下三、创建数据存储目录${HAFDOOP_HOME}根据自己的路径写${HAFDOOP_HOME}/data/dfs/name ${HAFDOOP_HOME}/data/df...原创 2019-01-28 01:51:55 · 202 阅读 · 0 评论 -
hadoop HA搭建
概述hadoop2中NameNode可以有多个(目前只支持2个)。每一个都有相同的职能。一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,standby状态的NameNode就...原创 2019-12-23 19:23:40 · 131 阅读 · 0 评论 -
MR——worldcount案例
springboot程序1、导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </depen...原创 2019-12-23 19:27:17 · 84 阅读 · 0 评论 -
ORC存储格式
1、orc索引index、row group index、bloom filter indexset hive.optimize.index.filter=true;打开索引(默认是flase)轻量级索引Row Group Index一个orc文件包含一个或者多个stripe(groups of row data),stripe里面存放数据和索引和stripe footer。每个s...原创 2019-12-23 19:26:31 · 426 阅读 · 0 评论 -
Hadoop 黑白名单,新节点
1、hadoop动态增加新节点1、添加主机映射 vim /etc/hosts,这里是node4192.168.88.135 master0192.168.88.136 master1192.168.88.137 node1192.168.88.139 node2192.168.88.138 node3192.168.88.145 node42、更改主机名为node4vim ...原创 2019-12-23 19:23:48 · 118 阅读 · 0 评论 -
hadoop2.6.0-cdh5.7.1 snappy库配置和使用
百度网盘链接:hadoop2.6.0-cdh5.7.1 版本的snappy库https://pan.baidu.com/s/1UNXWFq5_eNyqMAaZGO2VcA提取码:52tw1、下载好解压把文件存放到$HADOOP_HOME/lib/native下hadoop checknative -a 检查是否安装成功2、如果全部是false,在hadoop-env.sh...原创 2019-12-23 19:22:45 · 153 阅读 · 0 评论