一些错误
万事于足下
这个作者很懒,什么都没留下…
展开
-
部署和使用dinky问题总结
flink1.16官方部署文档:http://www.dlink.top/docs/0.7/deploy_guide/build/github部署文档:https://github.com/DataLinkDC/dinky/blob/v0.7.4/docs/docs/deploy_guide/deploy.md。原创 2023-09-20 13:24:09 · 591 阅读 · 1 评论 -
cdh部署成功后无法安装集群无法进入安装向导
cdh部署成功之后,登录后本应该出现安装向导,但是中间却是一片空白。右下角有返回按钮,旁边继续按钮是一个灰框,没有文字,后来按了F12后,发现控制台console里有2个js文件未加载,1个js文件报错,以为是部署有问题,后来认为是访问了官网的资源,在host里加了官网还是不行。最后发现是浏览器的问题,因为用的火狐浏览器安装了广告屏蔽插件,把js脚本给禁止加载了,着实坑了自己一把。...原创 2022-01-06 10:08:37 · 357 阅读 · 0 评论 -
Linux每次登录用户会提示未找到的命令
[root@hadoop203 ~]# su - hadoopLast login: Thu Dec 30 14:15:12 CST 2021 on pts/0-bash: hadoop: command not found登录hadoop用户会提示没有命令,一直不知道为什么会出现这种情况,后来发现是在hadoop用户的.bash_profile文件里加了export HADOOP_CLASSPATH=`hadoop classpath`导致的...原创 2021-12-30 14:26:37 · 1785 阅读 · 2 评论 -
hive报错Could not get block locations. Source file “/user/hive/warehouse/xxx
hive报错Could not get block locations. Source file "/user/hive/warehouse/xxx...以及Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Error while processing row (tag=0)...是因为链接超时了设置set mapred.task.timeout=600000;为10分钟或更长即可...原创 2021-12-24 20:44:24 · 3290 阅读 · 0 评论 -
impala运行sql文件无法正确转换为decimal(没有四舍五入)
一次迁移发现,生产和测试的结果不太一样,生产用的impala,测试用hive,同一个值,在转换为decimal(8,2)时,impala没有四舍五入,hive有,查看日志发现impala出现了警告:WARNINGS: UDF WARNING: String to Decimal parse failedUDF WARNING: String to Decimal parse failed查了很久才发现是因为impala配置文件里配置了SET DECIMAL_V2=FALSE;使用hue测试了一下S原创 2021-12-23 11:26:14 · 2805 阅读 · 0 评论 -
flink遇到的问题
报错Could not find Flink jobJob has been submitted with JobID 52e00d8f89544a7df6de38b45e33686e------------------------------------------------------------ The program finished with the following exception:org.apache.flink.client.program.ProgramInvocation原创 2021-11-15 23:23:03 · 6718 阅读 · 1 评论 -
org.apache.spark.SparkException: A master URL must be set in your configuration
spark maven项目本地测试报错:org.apache.spark.SparkException: A master URL must be set in your configuration原因是没有指定master,spark不知道运行在什么上面,可以指定的有:local 本地单线程local[K] 本地多线程(指定K个内核)local[*] 本地多线程(指定所有可用内核)spark://HOST:PORT 连接到指定的 Spark standalone cluster master原创 2021-08-05 16:41:53 · 821 阅读 · 0 评论 -
spark本地测试报错:java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio
spark maven项目本地测试报错:Error: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession原因是我在pom文件里引入的sparksql依赖加了<scope>provided</scope>标签原创 2021-08-05 16:24:01 · 2620 阅读 · 0 评论 -
CDH Service Monitor角色错误
Failed to open or create partitioncom.cloudera.cmon.tstore.leveldb.LDBPartitionManager$LDBPartitionException: Unable to open DB in directory /var/lib/cloudera-service-monitor/ts/stream/partitions/str...原创 2019-03-19 14:17:48 · 2198 阅读 · 3 评论 -
记录配置HDFS HA后,hive抛错Wrong FS
转自:http://blog.itpub.net/31451369/viewspace-2153698/1.问题:在CDH5.x或者Apache环境下,配置了NameNode的HA后,Hive无正常查询数据了。Hive查询会出现如下异常:FAILED: SemanticException Unable to determine if hdfs://hadoop-01:8020/user/h...转载 2019-01-10 16:24:59 · 929 阅读 · 0 评论 -
Flume Sink到Kafka遇到的问题
1、版本问题2018-12-02 15:23:06,334 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an e...原创 2018-12-02 16:05:03 · 4138 阅读 · 0 评论 -
安装Scala后,在命令行打开报错Failed to initialize compiler: object java.lang.Object in compi...
问题简介所处环境-Windows10系统(这个问题和系统应该没有关系) -JDK版本:9.0.1(所需环境变量已经配置好) -Scala版本:2.11.8(所需环境变量已经配置好)出现的问题scala> Failed to initialize compiler: object java.lang.Object in compiler mirror not found.原创 2018-02-04 17:16:01 · 8378 阅读 · 3 评论 -
hive元数据的partitions表不存在
再load data的时候,日志报了这样一个错误ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - Error thrown executing ALTER TABLE `PARTITIONS` ADD COLUMN `TBL_ID` BIGINT NULL : Table 'bigdata.partiti...原创 2018-07-01 13:42:10 · 1591 阅读 · 0 评论 -
ssh执行环境变量(A读取不了B的环境变量)
A机器环境变量JAVA_HOME:/usr/java/jdk1.8.0_45B机器环境变量JAVA_HOME:/usr/java/jdk1.8.0_181A执行:ssh B echo $JAVA_HOME的结果是A的JAVA_HOME(/usr/java/jdk1.8.0_45)而不是B的。...原创 2018-09-30 16:49:44 · 1796 阅读 · 0 评论 -
hadoop遇到的一些问题
集群启动,总是有一个namenode启动不了(而且jobhistory也启动不了)查看日志,出现:java.io.EOFException: End of File Exception between local host is: “hadoop002/192.168.137.201”; destination host is: “hadoop002”:8020;以及另一个:ERROR o...原创 2018-09-30 16:46:57 · 1009 阅读 · 0 评论 -
ssh 172.0.0.1 date 被拒绝
centos里使用命令:ssh 172.0.0.1 date 被拒绝 ssh hadoop002 date 没有这个主机名或服务,而ssh 192.168.137.201 date 成功。(在/etc/hosts文件里加上就好了)原创 2018-09-30 16:52:36 · 687 阅读 · 0 评论 -
启动Spark出现Operation category READ is not supported in state standby.
出现这个错误是spark读取standby状态的namenode导致的,出现原因是访问到了非active节点,只要在active节点启动就行了。如果还不行,先检查一下hosts文件,看看对应的ip和主机名有没有问题。然后检查Spark的配置文件,看看有没有写固定路径,如果写固定路径而那个节点是standby状态的话,就会出现这个错误。...原创 2018-10-23 12:31:11 · 3678 阅读 · 0 评论 -
运行Spark SQL报The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH.
想启动spark-sql,结果报了Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Pleas...原创 2018-10-31 12:32:01 · 2751 阅读 · 1 评论 -
修改Hadoop日志格式为json
CDH只需要在页面上的配置里搜索即可,然后改成log4j.appender.RFA.layout.ConversionPattern = {&quot;time&quot;:&quot;%d{yyyy-MM-dd HH:mm:ss,SSS}&quot;,&quot;logtype&quot;:&quot;%p&quot;,&quot;loginfo&am原创 2018-11-29 16:13:05 · 356 阅读 · 0 评论