大数据
青+蓝=紫
这个作者很懒,什么都没留下…
展开
-
Spark on yarn启动时报错:Error initializing SparkContext解决方法
1.首先确认hadoop集群下的yarn-site.xml配置文件是否添加了下面内容 <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <...原创 2019-12-06 18:55:06 · 1648 阅读 · 3 评论 -
长时间未关闭hadoop集群导致stop-all.sh 失效
如果长时间未关闭hadoop集群,执行stop-all.sh命令会报错:no DataNode/NameNode to stop。这是因为hadoop启动时的默认地址为:export HADOOP_PID_DIR=${HADOOP_PID_DIR}即存放log的地址(/tmp),在启动时可以看到starting datanode, logging to /hadoop/hadoop-2.7.7...原创 2019-12-06 18:32:53 · 1223 阅读 · 0 评论 -
R语言——使用as.Date转换数据类型,结果为NA的解决方案
在学习R语言的时候,发现将字符串转换成时间戳的时候,即使格式正确,也会出现将字符串转换成NA的情况,如下图所示解决方法:通过Sys.setlocale方法改变...原创 2019-11-02 22:14:12 · 11148 阅读 · 9 评论 -
hadoop与java API连接报错总结
hadoop与java API连接的采坑:个人配置:Windows10、IntelliJ IDEA 2019.2.3、hadoop2.6.0和jdk1.8.0_101注意,过高的jdk版本可能会导致连接出现报错,jdk与hadoop版本不相互匹配也可能会导致连接失败,如果下述方法都不行可以考虑查找并更换jdk版本和hadoop相关版本。由于可能性过多且复杂本人并没有逐一尝试。问题1:Exc...原创 2019-10-15 13:57:07 · 560 阅读 · 0 评论