- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink广播变量和分布式缓存
Flink广播变量和分布式缓存一:Flink广播变量Flink支持广播变量，就是将数据广播到具体的taskmanager上，数据存储在内存中，这样可以减缓大量的shuffle操作；比如在数据join阶段，不可避免的就是大量的shuffle操作，我们可以把其中一个dataSet广播出去，一直加载到taskManager的内存中，可以直接在内存中拿数据，避免了大量的shuffle，导致集群性能下降；广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应
2020-06-04 15:07:34
857
原创 Informix数据库安装文档
Informix数据库安装文档安装环境Linux centos 2.6.32-754.24.3.el6.x86_64informix安装包:INFO_ENT_ED_12.10_FC7_LNX86_64_EN.tar安装步骤:整个过程都用root用户运行1.首先创建informix用户groupadd informixuseradd -g informix informix2.创建安装目录: “/opt/informix”mkdir /opt/informixchown informi
2020-05-22 17:21:11
1023
1
原创 kylin的原理理解
kylin的原理理解kylin简介kylin是一个大数据的OLAP引擎,是由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目,Hive的性能比较慢，支持SQL灵活查询，特别慢,HBase的性能快，原生不支持SQL,Kylin是将先将数据进行预处理（预计算），将预处理的结果放在HBase中。效率很高kylin应用场景 用户数据...
2020-05-06 18:25:42
805
原创 Spark原理及理解
Spark原理及理解Spark简述Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需...
2020-04-22 16:49:33
345
原创 浅谈LSM-tree的理解
浅谈LSM-tree的理解LSM_tree 全称是Log Structured Merge Trees(日志结构合并树)被广泛应用于key-value键值对数据库,是一种存储结构/引擎,或者说是一种思想像HBase就是典型基于LSM树思想设计的核心思想lsm_tree是一种分层,有序,面向磁盘的存储结构,核心思想就是充分利用了磁盘的批量顺序写入比随机写入性能高很多,最大的特点就是写入速度...
2020-04-17 15:35:42
1282
原创 Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat
Hive和Tez整合之后往ES中插入数据报错的问题Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat在我吧hive的引擎替换为tez以后,运行SQL报错,后来发现是往ES映射表的时候报错Status: FailedVertex failed, vertexN...
2020-04-08 11:05:52
2276
原创 Hive引擎替换为tez
Hive引擎替换为tezHive的默认计算引擎是MR,但是mapreduce的速度实在是很慢,所以我们考虑将计算引擎更换为tez安装环境:Hadoop-2.7.4hive-2.3.6具体版本根据自己实际情况来首先tez下载:tez版本请参考官网,我这里是下载的0.9.1这需要jdk8或更高版本,还有maven3或更高版本https://mirrors.tuna.tsinghua.e...
2020-04-08 09:42:23
1230
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人