- 博客(7)
- 收藏
- 关注
原创 Hive 计算新用户留存
使用hive计算用户留存率。问题描述:留存率是一个常见的数据分析需求,即某日新增用户,计算这些用户在后5天内的获取数。使用到的hive函数:datediff:返回两个日期相差的天数,日期格式为 yyyy-MM-ddunix_timestamp:将指定格式的字符串类型日期转换成时间戳from_unixtime:将时间戳转换成指定格式的字符串日期参数博客:https://blog.csdn.net/chenpe32cp/article/details/85068184代码实现:
2020-08-13 16:00:22
1093
原创 Flink 自定义source 读取redis 实现 RichParallelSourceFunction
Flink自定义source 需要实现SourceFunction(并行度1) ,ParallelSourceFunction(多并行),RichParallelSourceFunction(多并行)。这里使用的RichParallelSourceFunction(多并行)。代码实现:public class ReidsSourceFunctionRm7896Top0 extends RichParallelSourceFunction<String> { private .
2020-07-07 15:51:27
2435
2
原创 Flink SQL编程套路(学习笔记三)
Flink版本1.8.0,DataStream获取执行环境; 创建一个TableEnvironment; 读取数据源; 数据转换; DataStream转成Table,定义字段名称; 注册table,定义table名称; SQL计算查询; table转成DataStream; 提交执行。package FlinkDemo.flink_table;import org.apache.flink.api.common.functions.MapFunction;impor
2020-05-22 11:42:51
320
原创 Flink编程套路(学习笔记二)
对于一个Flink任务来说,都是由Source(数据源),transformation(转换算子),Sink(数据输出)三个部分组成;编程套路也主要由5个步骤组成。1.创建运行环境Flink提供了两种创建环境的方式,DataStream(数据流)和DataSet(数据集),两种的创建方式没什么太大的区别。//DataStream 数据流StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionE...
2020-05-20 19:06:54
373
原创 Flink运行时架构(学习笔记一)
摘要 本文主要对Flink程序运行时的架构做一个简单的总结,主要涉及到Flink任务的提交流程,运行流程,以及提交和运行时用到一些组件之间的关系,包括:JobManager,TaskManager,Client;以及运行时task,sub task,operator,operator chain,slot之间的关系。提交流程 Flink任务提交时主要涉及到Client,JobManager,TaskManager几个概念。Client:即客户端,提交Flink任务到yar...
2020-05-20 14:25:00
244
原创 Java 常见排序算法(冒泡,插入,选择,快速,归并,希尔,堆排序,基数)
面试中经常会遇到一些排序的问题,在此总结一下java中常见的几种排序算法,快速,归并,冒泡,插入,希尔,基数,选择,堆排序。参考:https://www.cnblogs.com/chengxiao/p/6194356.html排序算法在线演示图:http://tools.jb51.net/aideddesign/paixu_ys冒泡排序冒泡排序个人认为是最简单最容易理解的一种排序算法,它的基本原理是依次比较数组中相邻的两个元素,从前到后,如果后面的元素大于前面的元素,就交换两个元素的位置,
2020-05-16 22:44:44
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人