![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 66
睡醒的土豆
这个作者很懒,什么都没留下…
展开
-
datax mysql 到 hbase 时,rowkey和hbase 设置常量值的问题解决方案
记录今天在工作中遇到的问题,希望能解决一些道友遇到的同类问题。 今天,将mysql的数据转移hbase里面去,选择的工具是datax。 第一个问题: 但是我遇到了问题,hbase的rowkey,中间有常量固定的一部分,它是几个字段拼接而成,后来知道,rowkey的时候,index设置为-1表示该处是常量,可以设置值。这样解决了第一个问题。 第二个问题: 将mysql数据插入到hbase里面时,需要在每一行加一个新的列属性,并且该列还是常量。后台左查查右查查,想到了转移其他地方。做数据清洗的方法,但是该方法太原创 2021-05-17 20:04:48 · 871 阅读 · 0 评论 -
MySQL、HBase、ES的特点和区别
MySQL、HBase、ES的特点和区别 MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从、Group Replication架构模型(本文全部以Innodb为例,不涉及别的存储引擎)。 HBase:基于HDFS,支持海量数据读写(尤其是写),支持上亿行、上百万列的,面向列的分布式NoSql数据库。天然分布式,主从架构,不支持事务,不支持二级索引,不支持sql。 ElasticSearch:ES是一款分布式的全文检索框架,底层基于Lucene实现,虽然ES也提供存储,原创 2021-01-23 12:25:30 · 2114 阅读 · 1 评论