吐槽几句。下面吐槽可以不看
我要写一个访问hbase的程序,需要开发环境中有一套带有phoenix的hbase。最开始的想法是找镜像,我觉得我的这个需求还是挺常见的。但是没想到这个镜像这么难找。
最开始我用的是harisekhon/hbase这个镜像,但是这个镜像没有phoenix,需要自己安装。然后我参考b站视频安装phoenix(英语太差,没看懂phoenix的官网教程)。视频教程很好,但是我发现harisekhon/hbase这个镜像里好像没安装hadoop,这点与视频教程不符。。。东找西看,到最后下面的报错让我放弃了这个镜像。
上图是运行phoenix的sqlline.py的报错,当时我以为是因为没hadoop才没法用,现在回想,应该是hbase-site.xml没配置phoenix.schema.isNamespaceMappingEnabled
然后我又尝试新的镜像,经过多番尝试,找到boostport/hbase-phoenix-all-in-one。这个镜像中号称集成了phoenix,但实际运行起来没法用,问题和上面截图的差不多。但这次我脑子好像突然干活了,把这个问题正常解决了。
上面说的是容器方面的坑,其实容器方面还有很多坑我这里就不细说了,反正直接用我上面给的代码就不会有这些坑。之后编写代码的时候也遇到很多坑,其中有个比较离谱。phoenix-core这个包下依赖的不同版本的hadoop-auth,包冲突。。。。
服不服气?
总结下来这次这个东西折腾了一下午,除了因为某些知识掌握的不扎实(比如包冲突的排查,比如springboot中对datasource的配置),还有个原因时折腾到后面脑子开始罢工了,否则我也不会抛弃harisekhon/hbase这个镜像去折腾其他镜像,我觉得harisekhon/hbase还是可以成功部署phoenix。还有个次要原因,针对我这个需求的官方文档几乎没有。之前搭建elk日志平台时几乎用的都是官方文档,但这次不论是前期容器搭建还是后面的代码编写都没有在官网找到任何介绍,全靠自己在网上找资料或者问chatgpt。chatgpt这次表现也不好,很多问题回答的驴唇不对马嘴,我希望chatgpt和百度AI之后也反思下。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
存中…(img-NhsWtrbw-1712515224915)]