【错误日志】数仓部分遇见的错误及解决方式

是平时练习所遇见的问题，记录并且解决方式；后续会跟进更新的。。。 谢谢支持

0.phoenix

启动报错：org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG

解决办法：去zk里面删除SYSTEM.CATALOG等表

	rmr /hbase/table/SYSTEM.CATALOG
  rmr /hbase/table/SYSTEM.SEQUENCE
  rmr /hbase/table/SYSTEM.STATS
  rmr /hbase/table/SYSTEM.FUNCTION
  
  /bin/hbase clean --cleanAll
   在执行上述命令之前：先关闭hbase（包括HMaster和regionServer）

重新启动hbase
通过 ./sqlline.py 进入phoenix，系统会自动创建Phoenix的系统表

1. Azkaban

1. 在配置多个Executor后，运行Web；运行闪退。。
   在关闭服务后，在azkaban的数据库中的executors表中所有的host的active值改为1就可以了。

2. 在配置多个Executor后，运行Job；一直处于就绪状态，不自动运行

3. webserver开启失败，提示连接异常IOException

   ​ 在executor中的conf目录下配置文件中，增加端口12321 executor.port=12321

2、Kylin

Q1:

错误：
java.net.UnknownHostException: master:2181: Name or service not known
或者
ERROR [main] curator.ConnectionState:200 : Connection timed out for connection string (master:2181:2181,slave1:2181:2181,slave2:2181:2181) and timeout (15000) / elapsed (15050)

解决方案：

原因： master：2181：2181 重复了

去hbase的conf目录下 找到 hbase-site.xml
把 master:2181,slave1:2181,slave2:2181 后的 2181 全部去掉，只留主机名称如下：

<property>

             <name>hbase.zookeeper.property.clientPort</name>

             <value>2181</value>

</property>

<property>

            <name>hbase.zookeeper.quorum</name>

             <value>master,slave1,slave2,slave3</value>

</property>

保存退出分发文件，重启hbase，再重启麒麟

3、Kafka

1. Kafka使用Scala自定义分区使用时出现Failed to Construct Kafka producer

原因是：在定义自定义分区器的时候，分区器应该是class开头才能继承使用，如果是object则会报错找不到构造器，更改类型为class即可。

2、SparkStreaming

Exception in thread "main" java.lang.ExceptionInInitializerError
	at org.apache.spark.streaming.StreamingContext.withNamedScope(StreamingContext.scala:274)
	at org.apache.spark.streaming.StreamingContext.socketTextStream(StreamingContext.scala:302)
	at SparkStream.WordCount$.main(WordCount.scala:18)
	at SparkStream.WordCount.main(WordCount.scala)
Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6
	at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64)
	at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
	at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:751)
	at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
	at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
	... 4 more

解决办法：

解决：spark 依赖的版本过高 不兼容
<dependency>
	<groupId>com.fasterxml.jackson.core</groupId>
	<artifactId>jackson-databind</artifactId>
	<version>2.6.6</version>
</dependency>

如果还有错误 可能其他包也引入了版本过高的依赖，在其中将jackson的自动引入剔除即可
<dependency>
	<groupId> org.apache.kafka</groupId>
	<artifactId>kafka_2.11</artifactId>
	<version>1.1.1</version>
	<exclusions>
		<exclusion>
			<groupId>com.fasterxml.jackson.core</groupId>
			<artifactId>*</artifactId>
		</exclusion>
	</exclusions>
</dependency>