自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Flink1.11.2 On Yarn安装部署笔记

环境jdk:jdk-8u144-linux-x64.tar.gzzookeeper:zookeeper-3.4.10.tar.gzhadoop:hadoop-2.8.5.tar.gzflink:flink-1.11.2-bin-scala_2.11.tgz部署jdk安装jdk1.6 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/修改文件名mv jdk1.8.0_144 jdk1.8配置环境变量vim /etc/profi

2020-11-26 18:47:05 1822 3

原创 Flink介绍

Flink 实际应用场景Flink 自从 2019 年初开源以来,迅速成为大数据实时计算领域炙手可热的技术框架。作为 Flink 的主要贡献者阿里巴巴率先将其在全集团进行推广使用,另外由于 Flink 天然的流式特性,更为领先的架构设计,使得 Flink 一出现便在各大公司掀起了应用的热潮。阿里巴巴、腾讯、百度、字节跳动、滴滴、华为等众多互联网公司已经将 Flink 作为未来技术重要的发力点,迫切地在各自公司内部进行技术升级和推广使用。同时,Flink 已经成为 Apache 基金会和 GitHub 社

2020-11-05 17:49:24 919

原创 Hbase读写

架构分析1、HMaster负责管理HBase元数据,即表的结构、表存储的Region等元信息。负责表的创建,删除和修改(因为这些操作会导致HBase元数据的变动)。负责为HRegionServer分配Region,分配好后也会将元数据写入相应位置(后面会详细讲述放在哪)。如果对可用性要求较高,它需要做HA高可用(通过Zookeeper)。但是HMaster不会去处理Client端的数据读...

2019-11-12 20:43:34 286

原创 UDF,UDTF

UDTFpackage com.amazon.udtf;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import or...

2019-11-10 20:29:49 237

原创 HbaseApi

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.h...

2019-11-10 18:23:09 218

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除