hadoop
相遇七月二
这个作者很懒,什么都没留下…
展开
-
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
Hadoop安装部署基本步骤: 1、安装jdk,配置环境变量。 jdk可以去网上自行下载,环境变量如下: 编辑 vim /etc/profile 文件,添加如下内容: export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(填写自己的jdk安装路径) exp原创 2018-01-02 12:51:08 · 233 阅读 · 0 评论 -
hbase基础使用
hbase shell命令的使用 再使用hbase 命令之前先检查一下hbase是否运行正常 hadoop@Master:/usr/hbase/bin$ jps 2640 HMaster 27170 NameNode 27533 SecondaryNameNode 3038 Jps 27795 TaskTracker 27351 DataNode 2574 HQuorumPeer原创 2018-01-02 12:52:59 · 316 阅读 · 0 评论 -
hadoop安装
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在 CentOS 中安装并运行 Hadoop。 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统。如果用的是 Ubuntu 系统,请查看转载 2017-12-29 13:57:13 · 3484 阅读 · 0 评论 -
CDH使用错误或者报警
在CDH安装完成后或者CDH使用过程中经常会有错误或者警报,需要我们去解决,积累如下:解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的,几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。 因为NTP的时间同步是平滑同步,不是跳跃式同步,如果设置得不好的话,很难校验出它同步成功了没,总感觉会缺少几秒钟的感觉。有一种解决方法是 我们这里...转载 2018-04-18 14:22:42 · 2594 阅读 · 0 评论 -
CentOS7.3下安装Cloudera Manager5.11.1
概述准备条件系统环境配置安装Java安装MySQL安装CMCM配置Q&A参考概述最近公司需要研究大数据方向的内容,经初步讨论,决定使用CDH版本 的Hadoop,使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution, including Apache Hadoop),是Hadoop分支中的一种,由Cloudera 维护,基...转载 2018-04-18 14:28:10 · 185 阅读 · 0 评论 -
hadoop集群只有一个datanode能启动
这是因为两个datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageIDCDH:/dfs/dn/current/VERSION原创 2018-05-03 14:43:29 · 2644 阅读 · 0 评论