hadoop
关注
分享
扫一扫
文章平均质量分 85
桃花惜春风
高级Elasticsearch工程师，搜索架构工程师
展开
-
hadoop、zookeeper、hbase集群安装
本文为自己总结的hadoop-cdh5集群安装（简易版），适合新手首次玩集群使用。本文附带安装包、配置文件等都跟文中配置相同，如有需要请自行修改。本文中介绍的集群均配置在虚拟机中，Linux版本为：CentOS7本文hadoop配置集群为4台：192.168.5.128 hadoop0 主192.168.5.129 hadoo原创 2016-08-21 18:30:33 · 3972 阅读 · 0 评论 -
启动regionserver失败内存分配不足问题
启动hbase时，regionserver启动失败报错：Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000400130000, 17092640768, 0) failed; error='Cannot allocate memory' (errno=12)解决方法：原创 2016-08-21 18:33:50 · 5146 阅读 · 0 评论 -
hadoop常用命令总结
关于hadoop集群安装步骤：http://blog.csdn.net/xiaoyu_bd/article/details/52268676 以下命令都在/usr/local/hadoop/hadoop-2.6.0/bin目录下执行，如果配置过PATH变量，可去掉程序前的./ 并且可以再任何目录执行。1、查看指定目录下内容./hdfs dfs -ls /[文件目原创 2016-08-23 23:57:24 · 936 阅读 · 0 评论 -
SecondaryNameNode问题
NameNode主要是用来保存HDFS的元数据信息，比如文件名称、大小、块信息等。当它运行的时候，这些信息是存在内存中的，这样访问的速度比较快。同时，这些信息也需要持久化到磁盘上，万一断电了还需要从磁盘上重新加载这些信息。上面的这张图片展示了NameNode怎么把元数据保存到磁盘上的。这里有两个不同的文件：（1）fsimage，它是在NameNode 启动时加载到内容中原创 2016-08-24 00:38:25 · 3584 阅读 · 0 评论 -
合并本地文件到HDFS文件中
下面的MergeTest 程序，用于合并本地多个文件，并把合并后的新文件放入HDFS，这个程序在实际工作中会经常用到。第一步：开发java程序packagecom.hadoop.hdfs.test;importjava.io.IOException; importorg.apache.hadoop.conf.Configuration;importor原创 2016-08-24 00:53:28 · 3574 阅读 · 0 评论