大数据-实时
Simple-395
简单就好
展开
-
ClickHouse之更新表(ReplicatedReplacingMergeTree)
CK没有更新的方法,但是有一种引擎可以支持去重,它就是ReplicatedReplacingMergeTree;一种是手工执行optimize table;另一种是table后面加’final’关键字;原创 2021-04-01 10:47:16 · 14842 阅读 · 6 评论 -
Elasticsearch 6.x 开启密码
Elasticsearch默认不开启密码,而实际生产环境中确认有需求。配置方式有些繁琐,如下。环境:Windows 10,Elasticsearch 6.5.4,Java 8;原创 2021-03-15 18:35:06 · 1726 阅读 · 3 评论 -
Flink入门示例(Word Count,数据来源为Socket)
以下演示一个简单的Flink Word Count程序。数据来源为Socket,端口9999。基于Flink `1.11`。原创 2021-03-09 09:05:45 · 610 阅读 · 0 评论 -
使用Python 3.x Socket UDP广播消息(测试大数据流式处理)
以下代码基于Python 3.8.x;在Window 10环境下测试无误。使用UdpServer发送广播数据;使用Flink接收消息(流式数据)。实际场景为`link`者Spark Streaming接收数据,最优方案为MQ,但测试环境部署较为麻烦,所以用Socket替代。原创 2021-03-08 10:36:53 · 585 阅读 · 0 评论 -
测试数据地址及格式
下载地址https://grouplens.org/datasets/movielens格式用户(u.user)用户ID年龄性别职业邮编124Mtechnician85711253Fother94043323Mwriter32067424Mtechnician43537533Fother15213电影数据(u.item)ID电影标题电影上映日期?IMDB link其他1To原创 2021-03-05 12:03:10 · 315 阅读 · 0 评论 -
Kafka Flink示例(基于OSX环境)
需要安装zookeeperkafka下载及安装解压至/opt目录zk启动bin/zkServer.sh startkafka启动bin/kafka-server-start.sh config/server.propertiesbin/zkServer.sh startbin/kafka-server-start.sh config/server.properties测试bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181原创 2020-12-28 13:46:49 · 320 阅读 · 0 评论