大数据平台hbase,phoenix,spark搭建和研发问题和解决方式汇总

#Q
Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get
$A
<hadoop.version>2.7.3</hadoop.version>

#Q
Caused by: java.net.UnknownHostException: mycluster
$A 修改host文件 118.178.104.96 mycluster

#flume 两种记日志方式，扫描文件夹和log4j写netcat端口，netcat容易关闭，第二 flume一旦停止再重启，日志写入失败，改用文件夹监听，不同字符串发送到不同topic
#hbase连接不上， IP映射，60020端口telnet下。 hbase的hbase-site.xml配置正确和phoeix的映射要复制到phoenix上去
#spring-data管理HbaseTemplate connection 坑之源码分析 每一个hbasetemplate重复建立connection
#hadoop version修改，重启hadoop，格式化
#IDEA打包外部引用类 插件
#phoenix的thin-clientjar包打包了其他很多hadoop相关jar包，冲突
#KAFKA ip顺序不对，导致连接不上
#hadoop多版本jar包冲突，找不到类
#springboot 解决kafka多个topic监听，优雅
#springboot 默认连接池采用hakip，新版本对phonix不支持，报SQLfezeNOTSUPPORT，需改用自定义配置连接池
#springboot
@phoenix做好和namespace的映射，修改hbase.xml做二级索引

#mybatis 生成的field要加双引号，mybatis生成的字段强制用数据表一致，不用驼峰原则

#phoenix二级索引更新必须通过phoenix CLIENT API ,hbase更新的话，不会同步到phoenix索引，在某些情况下，phoenix client操作的数据也不会更新索引
#hbase 1.4版本客户端测试要禁用断言。
#hbase：长久连接不上，最后报错：Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer
把3.5的替换为2.5的(protobuf-java-2.5.0.jar) Doing a drop replacement of protob