- 博客(5)
- 收藏
- 关注
RSS订阅原创 记一次phoenix和hbase的调试
记一次phoenix和hbase的调试最近项目组在选型presto通过phoenix调用hbase的操作,做一下记录;由于我们目前安装的都是最新版本的hbase和phoenix,所以会又不兼容的情况;Phoenix版本Hbase版本maven版本5.02.0hbase2.05.01.4hbase1.4<dependency> <groupId>org.apache.hbase</groupId> <arti
2020-07-20 22:49:41
791
1
原创 记录一次HBase的读取操作
问题在清洗数据的过程中开发了这样一个功能，由于我们的数据传输上来的经纬度，缺少地址信息，所以，设计了一个先从hbase里读取经纬度对应的地址数据，如果没有查询到符合的数据，再去从高德地图进行经纬度反向查询，获取到数据后，缓存在HBase中。潜在问题高德地图有每日200万次调用的限制，如果突破了，数据就会有问题；实现方式from thrift.protocol import TBinaryProtocolfrom hbase import Hbasefrom hbase.ttypes impo
2020-07-08 09:46:08
177
原创 Flink1.10-一些使用的记录
Flink1.10使用过程中的一些认知关于TaskManager/Slot/JobMangaer的认知上节说过，Flink的3种部署模式。我们选择了Flink on YARN。但是经常听小伙伴抱怨说job不稳定，崩溃，有时候提交任务失败等等；所以，今天专门针对于基本概念重新认识一下Flink；脚本我们的脚本类似于下面这种。没有任何附加参数：nohup bin/flink run -m yarn-cluster -s hdfs:///flink/savepoints/savepoint-*
2020-07-02 22:02:58
333
原创 大数据从0到1-流式计算Flink
启动伴随着离线分析的稳定后，下一步的目标就是进行实时的数据分析。从原理上看，也就是将每天的数据变成实时的处理，技术栈会有所不同，本着用新不用旧的原则，我们将目标定为：flink作为流式计算的基础；架构及数据流数据来源采集，由于原系统希望主动推送过来，并且希望采用http的方式，所以，在kafka前加了一层http接入服务；系统提供一个采集服务接口，当外系统有数据时，调用http请求将数据上送过来；数据格式为json。（这里要吐槽一点，现在系统间对接，上来就是希望使用json，过往的经历，在银行
2020-07-02 14:16:03
423
原创 大数据从0到1构建
大数据从0到1构建开始启动环境应用展示番外问题开始虽然神往hadoop，大数据等名词许久，但一直没有机会实操，一是数据量实在太小，另外自己兴趣广泛，做着做着就容易做偏，于是走走停停，一直没有一个合适的机会。最近，我司正在如火如荼的进行着内部创业，人人岌岌可危，于是，身为后端的我，想找一个切入点，来展示一番自己的才能，于是就选择了这个赛道，原因一是兴趣，另外就是数据这个东西比较玄幻，讲故事最佳；启动说干就干，其实本身来说，这个事也比较简单，简单到无非就是用大数据的方式做一件非常low的事。我们的数据量
2020-07-01 23:50:59
518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人