- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink1.11.2 On Yarn安装部署笔记
环境 jdk：jdk-8u144-linux-x64.tar.gz zookeeper：zookeeper-3.4.10.tar.gz hadoop：hadoop-2.8.5.tar.gz flink：flink-1.11.2-bin-scala_2.11.tgz 部署jdk 安装jdk1.6 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ 修改文件名 mv jdk1.8.0_144 jdk1.8 配置环境变量 vim /etc/profi
2020-11-26 18:47:05
1822
3
原创 Flink介绍
Flink 实际应用场景 Flink 自从 2019 年初开源以来，迅速成为大数据实时计算领域炙手可热的技术框架。作为 Flink 的主要贡献者阿里巴巴率先将其在全集团进行推广使用，另外由于 Flink 天然的流式特性，更为领先的架构设计，使得 Flink 一出现便在各大公司掀起了应用的热潮。 阿里巴巴、腾讯、百度、字节跳动、滴滴、华为等众多互联网公司已经将 Flink 作为未来技术重要的发力点，迫切地在各自公司内部进行技术升级和推广使用。同时，Flink 已经成为 Apache 基金会和 GitHub 社
2020-11-05 17:49:24
920
原创 Hbase读写
架构分析 1、HMaster 负责管理HBase元数据，即表的结构、表存储的Region等元信息。 负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）。 负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）。 如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是HMaster不会去处理Client端的数据读...
2019-11-12 20:43:34
286
原创 UDF,UDTF
UDTF package com.amazon.udtf; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import or...
2019-11-10 20:29:49
237
原创 HbaseApi
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.h...
2019-11-10 18:23:09
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人