Flink
文章平均质量分 68
Flink学习笔记
darling.0
这个作者很懒,什么都没留下…
展开
-
Flink的单机部署方式
jobmanager.rpc.address: 10.0.0.1 配置主节点的ip。taskmanager.tmp.dirs taskmanager的临时数据存储目录。taskmanager.heap.mb taskmanager节点可用的内存。jobmanager.heap.mb jobmanager节点可用的内存。jobmanager.rpc.address master节点的地址。./bin/flink # 路径 $FLINK_HOME。ON YARN是企业级用的最多的方式 *****.原创 2022-08-30 14:51:59 · 597 阅读 · 0 评论 -
Flink监控和调优笔记
100task 98-99跑完了 1-2很慢 ==> 能跑完 、 跑不完。repartition-repartition strategy 大大。思考:有了HistoryServer之后为什么还需要提供REST API?默认是1 适当的调整:好几种 ==> 项目实战。shell对于bigdata有用吗?启动:./historyserver.sh start。group by: 二次聚合。看一下这些脚本的写法。Flink中常用的优化策略。Flink监控和调优。...原创 2022-08-30 14:50:46 · 116 阅读 · 0 评论 -
kafka connector
kafka connector原创 2022-08-30 14:48:55 · 161 阅读 · 0 评论 -
HDFS Connector
Flink HDFS Connector原创 2022-08-30 14:46:50 · 145 阅读 · 0 评论 -
Flink Table API & SQL
示例:public static void main(String[] args) throws Exception {ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();BatchTableEnvironment tableEnv = BatchTableEnvironment.getTableEnvironment(env);String...原创 2022-08-30 14:49:16 · 116 阅读 · 0 评论 -
dataStream sink
示例:socket发送数据,把String转java对象,然后保存到mysql数据库中Student.classpublic class Student {private int id;private String name;private int age;@Overridepublic String toString() {return "Student{" +...原创 2022-05-26 11:26:30 · 221 阅读 · 0 评论 -
DataStream Transformations
public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//filterFunction(env);//unionFunction(env);//splitSelectFuncti...原创 2022-05-26 11:24:22 · 78 阅读 · 0 评论 -
DataStream Data Sources
public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();socketFunction(env);//nonParallelSourceFunction(env);//parallelSourc...原创 2022-05-26 11:22:58 · 76 阅读 · 0 评论 -
Broadcast Variables广播变量
FlinkBroadcast Variables:Broadcast variables允许你创建一个数据集在所有的并行操作节点都能获取到,除了常规的输入操作。针对一些小的依赖数据集,这种方式是非常有用的,这个data set数据集将会作为一个Collection集合被操作访问。Broadcast(广播数据) :通过withBroadcastSet(DataSet, String) 进行广播数据,并给这份数据起名字Access(获取数据):通过getRuntimeContext().get.原创 2022-05-26 11:21:32 · 347 阅读 · 0 评论 -
6-计数器
计数器:基于flink开发计数器的三步:step1:定义计数器LongCounter counter = new LongCounter();step2:注册计数器:getRuntimeContext().addAccumulator("ele-counts-java", counter);step3:获取计数器long num = jobResult.getAccumulatorResult("ele-counts-java");示例:public sta原创 2022-05-26 11:18:56 · 121 阅读 · 0 评论 -
5-sink
sink:public static void main(String[] args) throws Exception {ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();List<Integer> info = new ArrayList<Integer>();for(int i=1; i<=20; i++) {...原创 2022-05-26 11:18:02 · 76 阅读 · 0 评论 -
4-Transformation
Map:public static void mapFunction(ExecutionEnvironment env) throws Exception {List<Integer> list = new ArrayList<Integer>();for (int i = 1; i <= 10; i++) {list.add(i);}DataSource<Integer> data = en...原创 2022-05-26 11:16:59 · 61 阅读 · 0 评论 -
Data Sources及例子
DataSources基于文件File-based: readTextFile(path)/TextInputFormat- Reads files line wise and returns them as Strings. readTextFileWithValue(path)/TextValueInputFormat- Reads files line wise and returns them as StringValues. StringValues are ...原创 2022-05-26 11:15:15 · 201 阅读 · 0 评论 -
环境准备+开发例子
环境准备JDK:下载地址:Java Downloads | OracleMac :dmgLinux: tar.gzWindows: exeMaven官网:maven.apache.org下载地址:https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin....原创 2022-05-26 11:11:25 · 104 阅读 · 0 评论 -
流处理框架对比
流处理框架对比Spark:Streaming 结构化流 批处理为主 流式处理是批处理的一个特例(minibatch)Flink :流式为主,批处理是流式处理的一个特例Storm :流式 Tuple ...原创 2022-05-26 11:09:34 · 121 阅读 · 0 评论