- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink1.11.2 On Yarn安装部署笔记
环境jdk：jdk-8u144-linux-x64.tar.gzzookeeper：zookeeper-3.4.10.tar.gzhadoop：hadoop-2.8.5.tar.gzflink：flink-1.11.2-bin-scala_2.11.tgz部署jdk安装jdk1.6 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/修改文件名mv jdk1.8.0_144 jdk1.8配置环境变量vim /etc/profi
2020-11-26 18:47:05
1822
3
原创 Flink介绍
Flink 实际应用场景Flink 自从 2019 年初开源以来，迅速成为大数据实时计算领域炙手可热的技术框架。作为 Flink 的主要贡献者阿里巴巴率先将其在全集团进行推广使用，另外由于 Flink 天然的流式特性，更为领先的架构设计，使得 Flink 一出现便在各大公司掀起了应用的热潮。阿里巴巴、腾讯、百度、字节跳动、滴滴、华为等众多互联网公司已经将 Flink 作为未来技术重要的发力点，迫切地在各自公司内部进行技术升级和推广使用。同时，Flink 已经成为 Apache 基金会和 GitHub 社
2020-11-05 17:49:24
919
原创 Hbase读写
架构分析1、HMaster负责管理HBase元数据，即表的结构、表存储的Region等元信息。负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）。负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）。如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是HMaster不会去处理Client端的数据读...
2019-11-12 20:43:34
286
原创 UDF,UDTF
UDTFpackage com.amazon.udtf;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import or...
2019-11-10 20:29:49
237
原创 HbaseApi
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.h...
2019-11-10 18:23:09
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人