大数据
积累大数据中出现的异常以及错误解决方法
添柴程序猿
10年编程工作,涉及到.Net,Java,Android,C,Python等,爱好算法,人工智能,大数据等领域, 虚心求教,一起进步,大学毕业参加工作,如今一晃10多年已过,时间飞逝....
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
使用datax通过HbaseShell封装_同步hbase数据到瀚高数据库highgo_踩坑_细节总结---大数据之DataX工作笔记009
hbase中写了比如info:name,info:age ,其实对应的瀚高中可以写成column[id,addr]给出一个可以运行的json 用来把hbase同步到瀚高的,有了这个json就好多了.可以看到,对应的,字段对应关系是可以直接对应起来的,不用字段名字一样,就是说,这样就相当于把name传入到id中,把ageaddr。然后就可以去使用datax-web去跑一下试试了.原创 2025-04-18 18:23:41 · 543 阅读 · 0 评论 -
使用datax通过HbaseShell封装writer和reader同步hbase数据到hbase_踩坑_细节总结---大数据之DataX工作笔记008
可以看到,phoenix添加的表,对应的rowkey就是主键的值,然后所有的列都放到了0这个列族中,然后_0这个0列族中的列,就是主键,值value。对应的,原来表中的rowkey是无法同步过来的,这个是datax提供的hbase的,不带sql的,也就是使用原生java的hbase客户端。可以看到最后面,core部分,要自己补充上,要不然报错,然后,一定要注意,datax-web,生成的json,index都是从1开始的,原创 2025-04-17 14:37:47 · 1514 阅读 · 0 评论 -
phoenix操作hbase常用sql写法_hbase版本hbase-2.4.11_phoenix版本phoenix-hbase-2.4-5.1.2_大数据工作笔记0186
实际在项目中使用phoenix操作hbase,会很麻烦,因为语法上phoenix的语法很有讲究,双引号单引号的,很麻烦. 所以记录一下常用的sql写法.并且,不同phoenix的版本,对sql。语法的支持也是不一样.原创 2025-04-15 22:26:25 · 503 阅读 · 0 评论 -
SOA学习笔记001---SOA 服务架构之简介及理解
SOA英文:Service-Oriented Architecture,面向服务的架构。是一种面向通用集成服务的、松耦合的架构实现方式,是web时代服务发展的产物; 使用"分层"理念,比传统的"观察者"模式更高级且更有优势,主要体现在易扩展性和可灾; 适用于大型复杂业务系统的数据共享。目前多数企业都在使用SOA架构模式,各个业务层只需将主要精力用于其自己的业务代码,对于核心的服务只...原创 2018-07-25 18:14:52 · 566 阅读 · 0 评论
分享