大数据开发项目小错误
hykDatabases
这个作者很懒,什么都没留下…
展开
-
java操作sqoop在本地测试正常打包发布到阿里云服务器报错
在做项目时,把sqoop和mapreduce集成到springboot中做数据抽取和计算,并打成jar包上传到服务器,项目是使用eureka进行注册提供服务,父项目下创建子模块,通过maven的package打包子模块。通过以下命令在服务器运行# nohup和&组合在后台运行 运行时会在当前目录下生成一个nohup.out日志文件[root@fda ~]# nohup java -jar XXX.jar &Sqoop版本1.4.7Hadoop版本2.7.7当进行sqoop的数原创 2021-03-04 08:40:37 · 401 阅读 · 7 评论 -
SpringBoot远程提交任务到Hadoop集群报错java.lang.ClassNotFoundException: Class zut.edu.mapreduce.DeptMapper not
在SpringBoot中编写MapReduce程序,并提交任务到集群,我实在本地调试的,一开始使用的是IntelliJ IDEA 2019.3 x64的右侧的Maven直接package直接打包,结果报错如下:Error: java.lang.RuntimeException: readObject can't find class at org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit.readClass(TaggedInputSplit.j原创 2021-02-26 01:07:37 · 339 阅读 · 0 评论 -
Hadoop报错java.io.IOException: java.net.ConnectException: Call From hadoop1/192.168.160.131 to 0.0.0.0
java.io.IOException: java.net.ConnectException: Call From hadoop1/192.168.160.131 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused原创 2021-02-22 01:14:29 · 637 阅读 · 0 评论 -
sqoop本地向云端集群提交任务
org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStjava.net.ConnectException: Connection timed out: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(S原创 2021-02-22 01:00:22 · 348 阅读 · 0 评论 -
Kettle8.3遇见的错误
连接hive2报错错误连接数据库 [ww] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the databaseError connecting to database: (using class org.apache.hive.jdbc.HiveDriver)org/apache/hadoop/conf/Configuration…………C原创 2020-05-27 11:57:02 · 900 阅读 · 3 评论 -
Sqoop抽取数据常见错误
1、ERROR tool.ImportTool: Import failed: java.io.IOException: java.net.ConnectException: Call From node01/192.168.17.126 to node01:10020 failed on connection exception: java.net.ConnectException: 拒绝连接;...原创 2020-03-02 11:28:13 · 652 阅读 · 0 评论 -
MapReduce的假死现象
hive的聚合查询时,提交了mapreduce任务,hive的聚合查询假死也就是mapreduce提交任务时出现了问题以上也就是这两个问题,这两个是属于同一个问题问题原因。yarn.nodemanager.resource.memory-mb介绍:yarn.nodemanager.resource.memory.mb的值表示节点分配给NodeManager的总的可用物理内存,也就是节点用来...原创 2019-05-30 12:19:50 · 671 阅读 · 0 评论 -
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
当从本地上传文件到HDFS中时报错fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680aorg.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.t...原创 2020-02-18 13:04:35 · 789 阅读 · 0 评论 -
dfs磁盘空间不足There are 2 datanode(s) running and no node(s) are excluded in this operation.
说明:下面截图是解决问题后的截图,之前我的剩余DFS的空间只剩下272M当往hdfs里面写文件时报错could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation....原创 2019-06-18 18:24:38 · 2173 阅读 · 0 评论 -
linux中用sqoop从hdfs导出数据到mysql,汉字显示成问号
sqoop从hdfs导数据到mysql中后,查询表:查看自己mysql中的编码:show variables like 'character%';修改mysql的my.cnf文件,一般都在/etc/my.cnf也可以用命令查找:find / -name my.cnf编辑文件vim /etc/my.cnf添加如下内容:修改完后保存并重启数据库先停止 service my...原创 2019-05-31 17:31:33 · 1303 阅读 · 0 评论 -
maven编译时报错:编码UTF-8的不可映射字符
这个是由于代码使用的UTF-8,而maven编译的时候使用的GBK的缘故。通过修改pom文件,可以告诉maven这个项目使用UTF-8来编译。在pom的/project/build/plugins/下的编译插件声明 中加入下面的配置:<plugin> <groupId>org.apache.maven.plugins</groupId> ...原创 2019-05-30 20:27:43 · 7289 阅读 · 0 评论