![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
跟着爸爸走
记录自我的成长。
踩过的无数坑。
赚更多money!!!
走向人生巅峰
展开
-
flink学习
算子就是映射,就是关系,就是变换 有输入输出 f(x) = abs(x) abs就是算子 一个或多个算子+操作数就组成了算法有向无环图(DAG)1.environment 当前的flink运行环境,只有获取了环境信息// 批处理环境 datasetval env = ExecutionEnvironment.getExecutionEnvironment// 流式数据处理环境 datastreamval env = StreamExecutionEnvironment.getExecut原创 2022-01-14 14:29:44 · 978 阅读 · 0 评论 -
eruka快速刷新和kafka配置
Kafka partition扩充并且需要迁移数据生产不用指定具体分区,会自动分配拉取也不用指定具体分区,会自动拉多个分区可以同时拉取多个topickafka配置<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.3.0</version><...原创 2021-05-07 09:48:35 · 449 阅读 · 0 评论 -
大数据学习
大数据实时流处理识别结果 监控日志中实时的威胁行为flume 采集数据 source ->channl ->sink 是一个agent 数据是一个event结构 head和body flink和spark流处理 所有的大数据的云计算能力,必须跟机器有关,内存大小和集群大小决定处理能力、MapReduce、Spark只支持批处理任务 flink,Storm支持流处...原创 2020-05-08 15:35:42 · 244 阅读 · 0 评论