![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
荞澳
带着热爱前行。
展开
-
维度与指标的含义和区别
维度:是事物或现象的某种特征,如性别、地区、时间等都是维度。 其中时间是一种常用、特殊的维度,通过时间前后的对比,就可以知道事物的发展是好了还是坏了,如用户数环比上月增长10%、同比去年同期增长20%,这就是时间上的对比,也称为纵比;另一个比较就是横比,如不同国家人口数、GDP的比较,不同省份收入、用户数的比较、不同公司、不同部门之间的比较,这些都是同级单位之间的比较,简称横比;维度可以分为定性维度跟定量维度,也就是根据数据类型来划分,数据类型为字符型(文本型)数据,就是定性维度,如地区、性别都是..原创 2022-03-07 14:28:15 · 1441 阅读 · 0 评论 -
Flink分布式流式处理框架
FlinkFlink概述数据流与流计算Flink简介应用场景Flink架构安装配置示例演示单词统计示例创建Flink工程Flink概述数据流与流计算数据流是一串连续不断的数据的集合,就象水管里的水流,在水管的一端一点一点地供水,而在水管的另一端看到的是一股连续不断的水流。类似于人们对河流的理解本质上也就是流的概念,但是这条河没有开始也没有结束,数据流非常适合于离散的、没有开头或结尾的数据。例如,交通信号灯的数据是连续的,没有“开始”或“结束”,是连续的过程而不是分批发送的数据记录。通常情况下,数据流对原创 2022-01-22 19:57:08 · 1526 阅读 · 0 评论 -
Flume日志采集、聚合和传输系统
FlumeFlume介绍简述运行机制Flume 结构图简单结构复杂结构Flume简单示例Flume 的安装部署下载解压修改配置文件Flume介绍简述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求,通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义原创 2022-01-19 16:27:14 · 3805 阅读 · 0 评论 -
kafka笔记
一.概述消息对于现代软件项目来说,占有很重要的地位;同时市场上也发展处ActiveMq、RabbitMQ、Kafka、RocketMQ、Pulsar等众多优秀的框架;这些优秀的框架都由自身的特点和擅长的业务领域,在大数据领域中Kafka目前是使用较多的框架,Pulsar是一个后起之秀,目前处于一个快速发展的状态,有望能够成为下一代中间件的黑马。在本案例中我们选择使用Kafka作为内部消息通知的框架,以适应项目中大数据量的高吞吐、实时流计算等功能实现。二.约束定义Topic命名约束Topic分为单类和原创 2022-01-13 00:54:15 · 1307 阅读 · 0 评论