大数据
文章平均质量分 62
爪哇coffie
java开发
展开
-
hadoop常用命令
集群启动(按顺序执行)分别在master、slave1、slave2三个节点执行以下命令启动zookeeperzkServer.sh start在master上启动journalnode集群hadoop-daemons.sh start journalnode在master上格式化zkfchdfs zkfc -formatZK在master上格式化hdfshadoop namenode -form...原创 2018-04-11 19:40:03 · 190 阅读 · 0 评论 -
【地表最强】hadoop集群安装教程
集群规划主机名ip安装的软件进程mini1192.168.1.108 mini2192.168.31.205 mini3192.168.31.227 mini4192.168.31.36 准备工作:(以下操作均在root用户下)1、修改主机名(永久修改)a. 修改/etc/sysconfig/network,在里面指定主机名称HOSTNAME=mini1b. 然后执行命令: hostnam...原创 2018-04-11 19:31:45 · 490 阅读 · 0 评论 -
hadoop常见问题解决
问题1:Hadoop---java.io.IOException: NameNode is not formatted可能是之前格式化次数过多引起的,多次格式化会引起clusterID变化。关闭Hadoop再进行一次格式化重新启动namenode就行。如果格式化不行,则需要删除namenode目录下的文件,再格式化一次然后重新启动namenode。格式化namenode:hadoop nameno...原创 2018-04-11 19:41:50 · 265 阅读 · 0 评论 -
hadoop学习总结
1、sbin目录:存放启动或停止hadoop相关服务的脚本2、bin目录:存放对hadoop相关服务(HDFS,YARN)进行操作的脚本3、etc目录:hadoop的配置文件目录,存放hadoop的配置文件4、share目录:存放hadoop的依赖jar包和文档,文档可以被删除掉5、lib目录:存放hadoop的本地库(对数据进行压缩解压缩功能)验证HDFS是否正常运行:hadoop dfsadm...原创 2018-04-11 19:43:43 · 742 阅读 · 0 评论