- 博客(6)
- 问答 (1)
- 收藏
- 关注
原创 [HDFS]FileSystem.copyToLocalFile下载文件报错Unable to load native-hadoop library for your platform...
应用在服务器上启动后,从HDFS下载文件失败,报错如下:Unable to load native-hadoop library for your platform... using builtin-java classes where applicableThe short-circuit local reads feature cannot be used because libhadoop cannot be loaded.第一句提示不能加载Hadoop的库,检查库,提示hadoop命令
2022-05-25 17:18:48
1177
原创 postgresql+shardingsphere导致application启动速度慢
查看启动日志,发现数据源初始化时,postgresql数据源特别慢,耗时30秒~2分钟,Debug发现慢在loadDefaultTables方法。Mysql数据源,getAllTableNames()无返回值,而postgresql数据源返回了200多个表名,随着表的增加,postgresql数据源的初始化将会越来越慢。由于项目只访问postgresql中的几个分表,可考虑只加载分表,不加载其他表,即不进入下面这段代码:if (actualDefaultDataSourceName.isP
2022-05-11 15:34:24
1756
2
原创 Hive查询报错,return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
跑代码执行Hive查询,报错如下:StatementCallback; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask; nested exception is java.sql.SQLException: Error while processing statement: FAILED: Executio
2022-05-07 17:42:21
3970
原创 【Hadoop】图形化界面只有1个DataNode
集群启动后,DataNode,NameNode、SecondaryNameNode都正常启动。但是在图形化界面上看只有一个DataNode。尝试了删除VERSION、重新格式化NameNode后,都不行。用hdfs dfsadmin -report命令查看DataNode节点信息,竟然报连接不上的错误有点疑惑,之前确认过是可以ping通的,再次ping hostname,是通的:又ping IP,果然是不通的,考虑还是云服务器的安全策略问题,开放9820端口:重启hd...
2021-12-06 12:34:55
1984
原创 【Hive】本地连不上阿里云服数据库
参考本地连不上阿里云服务器数据库_jonesfee的博客-CSDN博客发现是云服务器的安全规则配置问题添加访问规则即可
2021-11-29 11:05:05
1692
空空如也
Citrix Receiver安装不完备
2016-05-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人