- 博客(25)
- 收藏
- 关注
RSS订阅原创 mvn 打包问题
maven 打包出现：rat.txtmvn clean -Drat.ignoreErrors=true -Drat.skip=true package install -Pmaven.test.skip=true org.apache.maven.plugins maven-surefire-plugin true mvn常用命令：mvn package -DskipTests -Dfast-Dmaven.compile.fork=truemave
2021-05-07 19:40:12
277
原创 解决：git fatal: unable to access OpenSSL SSL_connectCnection was reset in connection to github.com:443
添加这个玩意就好了，关闭检查git config --global http.sslverify false
2021-05-07 19:38:25
1462
原创 flink-时间语义与 Wartermark （十）
10.flink-时间语义与 Wartermark （十）在 Flink 的流式处理中，会涉及到时间的不同概念Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：（数据通常需要通过消息队列如卡夫卡进入flink）是数据进入 Flink 的时间...
2020-04-01 20:00:54
453
原创 fink-DataSet（五）
5.fink-DataSet（五）1.source基于文件readTextFile(path)基于集合fromCollection(Collection)基于socket自定义2.transformationsmap：输入一个元素，然后返回一个元素，中间可以做一些清洗转换等操作flatMap：输入一个元素，可以返回零个，一个或者多个元素mapPartition：类似map，...
2020-04-01 19:58:10
276
原创 fink-DataStream(四)
4.fink-DataStream(四)1.source1.基于文件readTextFile(path)读取文本文件，文件遵循TextInputFormat读取规则，逐行读取并返回。2.基于socketsocketTextStream从socker中读取数据，元素可以通过一个分隔符切开。3.基于集合fromCollection(Collection)通过java 的collect...
2020-04-01 19:57:01
337
原创 flink-部署模式（三）
3.flink-部署模式（三）1.local模式2.standalone修改conf/flink-conf.yaml# 必选# 指定jobmanager的hostnamejobmanager.rpc.address: node01# 可选# 指定jobmanager的portjobmanager.rpc.port: 6123# 指定jobmanager的可用堆内存量（单位为M...
2020-04-01 19:55:57
573
原创 flink-运行时架构（二）
2.flink-运行时架构（二）运行时组件作业管理器（JobManager)控制一个应用程序执行的主进程，每个应用程序都会被一个不同的JobManager所控制JobManager会先接收到要执行的应用程序，这个应用程序包括：作业图（JobGraph)、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的 JAR 包。JobManager ...
2020-04-01 19:54:31
418
原创 flink-简介（一）
1、flink-简介（一）1.定义：flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算2.特点：低延迟、高吞吐、结果的准确性和容错性3.flink主要优势：事件驱动：每一条消息或记录就是一个事件基于流的世界观：一切都是流组成的，离线数据是有界的流，实时数据是没有界限的流，即有界和无界的流分层的API：越顶层越抽象，表达含义越简明，使用越方便。越底层越具体，表达能...
2020-04-01 19:53:31
250
原创 flink-状态一致性（十三）
flink-状态一致性状态一致性1.有状态的流处理，内部每个算子任务都可以有自己的状态2.对于流处理内部来说，所谓的状态一致性就是我们所说的计算结果要保证准确3.一条数据不丢失，也不重复计算4.在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完成正确的状态一致性分类：1.exactly-once恰好处理一次是最严格的保证，也是最难实现的。恰好处理一次语义不仅仅意味着没有...
2020-03-31 13:43:37
276
原创 flink-容错机制（十二）
flink-容错机制1.一致性检查点1、flink故障恢复机制的核心，就是应用状态的一致性检查点2、有状态流应用的一致检查点，就是所有任务的状态，在某个时间点的一份拷贝（快照），在这个时间点，应该就是所有任务都恰好处理完一个相同的输入数据的时候2.从检查点恢复状态1.在执行流应用程序期间，flink会定期保存状态的一致检查点2.如果发生故障，flink讲会使用最近的检查点来一致恢复应...
2020-03-31 13:42:59
239
原创 flink-checkpoint和状态后端存储（十一）
flink-checkpoint和状态后端存储1.checkPoint简介为了保证state的容错性，Flink需要对state进行checkpoint。Checkpoint是Flink实现容错机制最核心的功能，它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择...
2020-03-31 13:42:25
858
原创 flink-支持的数据类型和序列化（七）
flink-支持的数据类型和序列化datatypeJava Tuple 和 Scala case classJava POJO：java实体类Primitive Types 默认支持java和scala基本数据类型General Class Types 默认支持大多数java和scala classHadoop Writables 支持hadoop中实现了org.apache.h...
2020-03-31 13:40:42
541
原创 flink-window窗口操作（九）
flink-window窗口操作1.window概念streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。 Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作2.w...
2020-03-30 21:28:11
361
原创 flink-广播变量、累加器、缓存（八）
flink-广播变量、累加器、缓存broadcast/*1.将要广播的数据转成DataSet类型 DataSet<Tuple2<String, Integer>> tupleData = env.fromCollection(broadData); 2.自定义富函数 此处定义的是 new RichMapFunction 在open方法中获取广播变量数据3...
2020-03-30 20:51:38
472
原创 flink-状态编程（六）
flink-状态管理–编程状态概念流式计算分为无状态和有状态两种情况：1.无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果2.有状态：有状态的计算则会基于多个事件输出结果(需要多个事件结果进行聚合操作)。3.有状态的部分场景：(1).所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。(2).所有用于复杂事件处理的状态机。例如，若在一分钟内收...
2020-03-30 20:12:55
1187
转载 Linux下的Elasticsearch安装
elasticsearch环境配置（elasticsearch版本7.2 JDK11以上）当前使用的版本elasticsearch 7.2、JDK 12.0.1下载elasticsearch可以降下载好的elasticsearch传到虚拟机中，也可以直接在虚拟机中下载本次演示从虚拟机中下载curl -L -O https://artifacts.elastic.co/downloa...
2020-03-30 20:09:59
145
原创 lua 连接redis集群
1.连接redis集群需要用到llua-resty-redis-cluster模块github地址：https://github.com/cuiweixie/lua-resty-redis-cluster下载完成后，只需要用到包中2个文件rediscluster.lua和redis_slot.c2.将lua-resty-redis-cluster/lib/redis_slot.c 拷贝到 o...
2020-02-26 22:15:47
2613
2
原创 zeppelin配置hive解释器
1、关闭集群配置一些几个文件hdoop的core-site.xml文件<property> <name>hadoop.proxyuser.自己用户.hosts</name> <value>*</value></property><property> <...
2019-12-24 21:24:04
383
原创 kylin rest api 发送curl创建、build query查询
kylin rest1、创建cube和buildcube1.create cubecurl -X POST -H "Authorization: Basic QURNSU46S1lMSU4=" -H "Content-Type: application/json" -d '{"cubeDescData": "{\"uuid\": \"3273a7b1-b338-4523-a9f0-092a1...
2019-12-24 17:19:13
578
原创 java jvm内存管理与垃圾回收机制
1、Java内存管理程序计数器、虚拟机栈、本地方法栈是哪个区域随着线程生而生，随线程而灭。1.1、Java内存区域1.1.1、程序计数器1、程序计数器(Program CounterRegister) 是一块较小的内存空间,它的作用可以看做是当前线程所执行的字节码的行号指示器. 在虚拟机的概念模型里, 字节码解释器工作时就是通过改变这个计数器的值来选去吓一跳需要执行的字节码指令, 分...
2019-11-10 21:11:03
225
原创 git命令
设置账户 git config –global user.email “ your email” git config –global user.name “your name”提交代码 git add test (test 提交到暂存区的文件) git commit –m “备注” git push origin master 提交到仓库 git pull origin...
2019-09-06 11:09:12
132
原创 Linux命令
1.Linux命令（centos）防火墙 systemctl stop firewalld.service systemctl status firewalld.service systemctl disable firewalld.service 压缩文件 tar czvf filename.tar dirFileName tar czvf fabri...
2019-09-06 11:06:20
97
原创 Linux安装oracle
#CentOS7安装Oracle11g—静默安装##一、准备工作：下载Oracle安装包：linux.x64_11gR2_database_1of2.zip 和 linux.x64_11gR2_database_2of2.zipHostName修改：oracle linuxhostnamectl set-hostname oracle##二、安装过程配置yum源(...
2019-09-06 11:02:29
1387
原创 go基本语法
#Go语法##1. 基础语法一行代表一个语句结束。每个语句不需要像 C 家族中的其它语言一样以分号 ; 结尾，因为这些工作都将由 Go 编译器自动完成。如果你打算将多个语句写在同一行，它们则必须使用 ; 人为区分，但在实际开发中我们并不鼓励这种做法例：fmt.Println("Hello, World!")fmt.Println("菜鸟教程：runoob.com")标识符用来命名变...
2019-09-06 11:01:03
165
原创 将本地仓库同步到GitHub
@将本地仓库同步到GitHubTOC首先在GitHub创建一个仓库：点击GitHub上面个人的头像，然后点击 new repository ,在Repository name填入仓库名称，其他保持默认设置，点击“Create repository”按钮，就成功地创建了一个新的Git仓库.目前，在GitHub上的这个learngit仓库还是空的，GitHub告诉我们，可以从这个仓库克隆...
2019-09-06 10:40:57
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人