- 博客(4)
- 收藏
- 关注
RSS订阅转载 HBase的应用场景
HBase解决不了所有的问题，但是针对某些特点的数据可以使用 HBase 高效地解决，如以下的应用场景。数据模式是动态的或者可变的，且支持半结构化和非结构化的数据。 数据库中的很多列都包含了很多空字段，在 HBase 中的空字段不会像在关系型数据库中占用空间。 需要很高的吞吐量，瞬间写入量很大。 数据有很多版本需要维护，HBase 利用时间戳来区分不同版本的数据。 具有高可扩展性，能动态地扩展整个存储系统。在实际应用中，有很多公司使用 HBase，如 Facebook 公司的 Social .
2021-08-31 15:42:08
1921
原创 Spark共享变量-广播变量和累加器的区别
1. 广播变量用来高效的分发较大的对象，而累加器用来对信息进行聚合。2. 累加器在Driver端定义赋初始值，累加器只能在Driver端读取最后的值，在Executor端更新。3. 广播变量只能在Driver端定义，可以在Driver端絛改广播变量的值，不能在Executor端定义，无法修改值。4. 如果在Executor端用到了Driver的变量，使用广播变量，每个Executor只有一份Driver端的副本，不使用广播变量，在Executor中有多少个task就有多少个Driver副本。.
2021-08-25 21:02:21
460
原创 如何解决IDEA中Maven项目的plugins出现两个相同(重复)的命令？
在不知道做了什么操作以后，准备编译项目时，发现Plugins里出现两个重复的命令。我重启多次idea也无效果。依旧坚强的存在。。。后来 抱着清缓存的心理，清缓存并重启idea后，发现重启以后就可以了。...
2021-08-23 20:45:26
2999
6
原创 kylin2.5.1启动出现异常Please set HIVE_CONF to the path which contains hive-site.xml
异常中明确指出需要去配置环境变量HIVE_CONF。在 /etc/profile 文件中配置HADOOP_HOME，HIVE_HOME，HBASE_HOME并将其对应的sbin（如果有这个目录的话）和bin目录配置到Path，最后需要source /etc/profile使其生效。需要注意的是：在启动kylin之前，要保证HDFS，YARN，ZK，HBASE相关进程是正常运行的。...
2021-08-18 09:38:38
207
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人