- 博客(48)
- 收藏
- 关注
RSS订阅原创 Flink时间语义详解
由于数据的计算是需要时间的，受限于集群中软硬件的限制，第 N 个算子和第 N+1 个算子的处理时间是不同的，尽管他们有相同的事件时间，这也意味着处理时间具有不确定性，结果不可预测。数据生成的时间，是数据流中每个元素或者每个事件自带的时间属性,一般是事件发生的时间，对于事件时间，时间的进度取决于数据，而不是任何时钟。是事件进入Flink的时间，使用摄入时间是一种折中方案，不同于事件时间，不需要使用水位线机制，也意味着他不需要太多的缓存，延迟也较低。相比处理时间，它避免了不同算子处理速度的影响。
2024-01-17 10:24:14
410
原创 Flink基础概念
有定义流的开始，无定义流的结束，会无限制的产生数据，需要持续处理，就像QQ微信等聊天软件一但开始会话，将没有停止会话的命令。：有定义流的开始，有定义流的结束，在摄取到一定数据后在进行计算，也被称为批处理。实时监控系统，推荐系统，日志分析系统等。②将流式数据看作一个一个的批量数据。请查看我flink搭建的csdn。①来一条处理一条实时的处理数据。四，flink的搭建。
2024-01-17 09:46:54
376
原创 spark on yarn安装部署
使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。所使用的安装包名称按自己的修改，安装包可去各大官网上下载。分发、hadoop-3.1.3/etc/hadoop/yarn-site.xml。使用在环境变量中添加。
2024-01-16 17:07:25
597
1
原创 ClickHouse单机安装配置(超详细)
使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。所使用的安装包名称按自己的修改，安装包可去各大官网上下载。将/opt/software 文件解压到/opt/module/clickhouse。在/etc/clickhouse-server目录下。删除config.d下的listen.xml文件。将里面所有的9000变成9001。进入clickHouse目录。给config.xml加权限。新建clickhouse。
2024-01-16 17:01:01
911
1
原创 kafka安装配置(超详细，傻瓜式安装)
数据存放位置，每个节点一个如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同节点使用文件不可重复，如果重复了容易启动失败。在每个节点启动Kafka，创建topic，其中toipic名称为installtopic，分区数为2，副本数为2。修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4。#对外的ip及端口，端口号每个文件不要用同一个，我使用的分别是9091,9092,9093。配置好kafka的环境变量。
2024-01-16 16:47:37
4318
5
原创 Flume安装配置（超详细，傻瓜式安装）
所使用的安装包名称按自己的修改，安装包可去各大官网上下载。flume必须持有hadoop相关的包才能将数据输出到hdfs， 将如下包上传到flume/lib下。将hadoop的hdfs-site.xml和core-site.xml 放到flume/conf下。将flume-env.sh.template改名为flume-env.sh， 并修改其配置。将Master节点Flume安装包解压到/opt/module目录下。在flume/conf目录下。flume/conf目录下。
2024-01-16 16:38:02
8404
2
原创 Hive安装配置（超详细，傻瓜式安装）
使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。所使用的安装包名称按自己的修改，安装包可去各大官网上下载。
2024-01-16 16:27:39
756
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人