错误
s小菜鸟
这个作者很懒,什么都没留下…
展开
-
Exception in thread “main“ org.apache.spark.SparkException: Yarn application has already ended! It m
spark 提交任务遇到的错误如下:1、错误(1)Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.w原创 2020-10-12 11:50:12 · 4263 阅读 · 0 评论 -
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
在我使用 java API操作hive报的错误Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask a...原创 2019-03-12 17:01:24 · 1711 阅读 · 0 评论 -
hive一直卡住不动
在使用hive 进行sql查询的时候,涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了start-yarn.sh原创 2019-03-12 16:19:57 · 8347 阅读 · 1 评论 -
Cloudera namenode 启动失败
一、在添加hdfs后,启动时发现只有namenode失败,查看日志,错误如下java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:236) at org.apache.hadoop....原创 2019-03-20 17:45:33 · 1462 阅读 · 0 评论 -
Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt
在idea中通过spark读取文件是报的错误Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt is not a valid...原创 2019-03-14 10:46:30 · 607 阅读 · 0 评论 -
解决:com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
spark读取文件的时候报的一个错误:Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat...原创 2019-01-16 13:18:18 · 4690 阅读 · 2 评论 -
解决:Access denied for user ''@'localhost' (using password: YES)
在idea中通过hive on spark 读取hive中的数据,然后写入mysql 报的一个错误.Exception in thread "main" java.sql.SQLException: Access denied for user ''@'localhost' (using password: YES) at com.mysql.jdbc.SQLError.createSQL...原创 2019-01-09 21:33:40 · 8109 阅读 · 6 评论 -
解决:bash: ./a.sh: /bin/bash^M: bad interpreter: No such file or directory的解决方法
一些人喜欢用vim来写linux shell script, 但是, 有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好, 然后拷贝文件到linux下, 结果呢, 在执行脚本a.sh的时候, 会出现如下问题:什么原因呢, 我们有理由怀疑是文件格式问题? 我们用vim a.sh进入a.sh这个文件, 然后在底部模式下, 执行:set ff查看一下, 结果发现f...转载 2019-01-09 16:27:33 · 1832 阅读 · 0 评论 -
解决:Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
通过mapreduce 往hdfs包的错误原因是权限错误我使用的是hadoop用户在idea上修改权限为hadoop就可以啦-DHADOOP_USER_NAME=hadoop原创 2019-01-24 15:27:54 · 1113 阅读 · 0 评论 -
解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set
在hive表中通过子查询插入数据到分区表时报的错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...原创 2019-01-08 19:00:00 · 19790 阅读 · 1 评论 -
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
原因是:引入的scala版本和提交的版本不一致解决方案:同意scala的版本就行啦原创 2019-01-03 21:43:48 · 648 阅读 · 0 评论 -
记录elasticsearch5.6所报的错误
1、cannot allocate memory解决方案: 虚拟机内存不够,关掉centos,根据你的内存大小增大内存就可以啦!2、can not run elasticsearch as root解决方案:不能再root用户下启动,切换到普通用户。3、seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CON...原创 2018-12-24 11:45:49 · 315 阅读 · 0 评论 -
解决:java.lang.NumberFormatException: For input string: "null"
在调用split()和Integer.parseInt()时经常遇见这样的问题。 java.lang.NumberFormatException: For input string: "null"的异常,提示出现问题的位置在“ sum_mark=Integer.valueOf(objective_mark).intValue()+Integer.valueOf(subject_mark).intV...原创 2018-12-18 14:25:07 · 13227 阅读 · 3 评论 -
java.lang.RuntimeException: HRegionServer Aborted
我添加协处理后在hbase shell中执行scan操作时regionserver部分挂掉,查看日志。java.lang.RuntimeException: HRegionServer Aborted at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandL at ...原创 2018-12-08 12:20:31 · 1173 阅读 · 0 评论 -
Mapreduce之hbase报错java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>()
在编写Mapreduce读取hbase数据的时候报了一个这样的错Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>() at org.apache.hadoop.util.ReflectionUtils.newI...原创 2018-12-07 20:23:06 · 271 阅读 · 1 评论 -
MySQL: Starting MySQL….. ERROR! The server quit without updating PID file
启动能正常启动,查看状态包pid错误,后来发现是用户权限问题,查看状态的时候前面加上"sudo".建议大家用root用户装mysql。这是自己造成的错误,处理很简单,下面还有几种pid错误处理的方法。第一种方法:可能是硬盘满了,清理下垃圾文件。第二种:查看下数据库运行状态/etc/init.d/mysql status提示ERROR! MySQL is running but ...原创 2018-11-29 14:25:07 · 306 阅读 · 0 评论