开发之路任重道远
种草姿势最帅的程序媛
个性已生锈
展开
-
HBase中,HMaster启动后直接挂的问题
HBase中,HMaster启动后,直接挂掉了的问题。我是先启动了dfs.sh,然后启动zookeeper,再启动HMaster,进入shell,用list查看默认存在哪些表,结果,提示:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing,进入log中看日志,提示如下图所示:原因:1、集群的时...原创 2019-04-24 19:28:20 · 819 阅读 · 0 评论 -
离线数据分析项目中集成了hive的tez运行引擎出现的问题
原因:出现这种情况,是属于 启动hive,会运行Tez,这时候检查到用过多内存而被NodeManager杀死进程的问题。解决方案:方案一:或者是关掉虚拟内存检查。我们选这个,修改yarn-site.xmlyarn.nodemanager.vmem-check-enabledfalse方案二:mapred-site.xml中设置Map和Reduce任务的内存配置如下:(value中...原创 2019-05-17 09:56:12 · 556 阅读 · 0 评论 -
大数据的离线数据分析项目中,hive如何集入tez运行引擎
1)下载tez的依赖包,下载地址为:http://tez.apache.org2)拷贝apache-tez-0.9.1-bin.tar.gz到anry2(anry2是我的主机名)的/anry/module目录下[XXX@anry2 module]$ lsapache-tez-0.9.1-bin.tar.gz3)解压缩apache-tez-0.9.1-bin.tar.gz[XXX@anry...原创 2019-05-17 10:22:12 · 186 阅读 · 0 评论 -
安装好hive后,用bin/hive 启动时,报Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop1'
1、出现异常的背景:已经启动了hadoop(start-dfs.sh,start-yarn.sh),安装好Mysql,然后安装好hive,并且配置好Hive元数据配置到MySql中的前提下,进入hive,用bin/hive 来启动hive。2、异常截图如下:3、原因:①先查看是否为密码问题(有可能是密码错误导致)②如果不是密码问题,即为权限问题。4、解决方案:1、密码问题:1.1...原创 2019-06-05 21:16:24 · 1688 阅读 · 0 评论 -
spark在配置 Standalone 模式,启动时报:JAVA_HOME is not set
问题如下图所示解决方案:在spark/sbin/spark-config.sh中添加入JAVA_HOME变量即可如下图所示原创 2019-06-02 19:05:12 · 377 阅读 · 0 评论 -
hadoop 集群启动后,其他节点datanode无法启动 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException
hadoop的logs中的异常提示:java.io.IOException: All specified directories are failed to load.(具体如下图所示:)原因:从日志上看是因为 datanode的clusterID 和 namenode的clusterID 不匹配根本原因:其实,是因为第一次格式化namenode后,启动了hadoop集群,生成了clus...原创 2019-06-21 10:02:36 · 1788 阅读 · 1 评论