hadoop
文艺小卿年
这个作者很懒,什么都没留下…
展开
-
大数据环境搭建(二) hadoop安装(centos7)
1.创建对应的工作目录/usr/ywq/hadoop,并解压hadoop到相应的目录:2.配置环境变量export JAVA_HOME=/usr/local/ywq/jdk1.8.0_181export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_...原创 2018-10-25 22:09:57 · 312 阅读 · 0 评论 -
hadoop HA 集群namenode无法自动切换为active
今天在学习HA自动化配置的时候,按照网上的教程去配置并启动HA即两台namenode后,看到一台为active模式,一台为standby模式,并且文件也可以正常写入。在做测试时,用 kill -9 端口号 杀死active的namenode后,standby的namenode并没有自动启动。 检查配置文件确保无误后,重启集群,发现依然无果。 查看logs->hadoop-root-zk...原创 2019-02-05 15:25:54 · 3527 阅读 · 4 评论 -
Hadoop集群群起脚本(zookeeper、Hadoop、HBase)
学习HBASE的时候,因为需要启动zookeeper和Hadoop,需要很多命令才能全部启动,关闭时也比较麻烦。所以就自己写了群起脚本和关闭脚本(/root/bin目录下,也可根据自己实际情况选择目录),记录一下。群起脚本startcluster.sh#!/bin/bashfor i in master slave1 slave2do echo "=====$i====...原创 2019-02-13 20:04:38 · 877 阅读 · 1 评论 -
hadoop启动后DataNode没有启动
由于一些原因,我对namenode进行过很多次格式化,格式化时删除了Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 (注意是删除目录下的内容不是目录)重新格式化后启动hadoop,发现DataNode没有启动原因:当我们使用hadoop namenode -format格式化namenode时,会在nam...原创 2019-03-04 21:21:33 · 2462 阅读 · 1 评论