2019年09月_wuhulala

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Flink实战(五) Batch（DataSet）运算的相关概念

文章目录1. 示例程序2. 转换函数3. 数据源配置CSV解析规则递归读取输入路径目录读取压缩文件4. 数据输出（Sink）5. 迭代操作Bulk Iterations（**批量迭代**）Delta Iterations（**增量迭代**）在函数中操作数据对象Object-Reuse Disabled (DEFAULT)Object-Reuse EnabledDebuggingLocal Exe...

2019-09-22 17:03:36 1341

原创 Flink实战(四) Flink 基本概念

文章目录1. DataSet and DataStream2. 剖析 Flink程序3. 延迟计算4. key 的定义方式定义元组的key使用字段表达式定义key使用KeySelector 定义Key5. 转换函数Implementing an interfaceAnonymous classesJava 8 LambdasRich functions6. 支持的数据类型7 累加器&计数...

2019-09-22 16:54:48 532

原创 Flink实战（三）开发过程中将程序提交到集群中执行

主要配置使用 createRemoteEnvironment（）方法即可 // 配置服务地址与当前jar所在路径 final ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment("localhost", 8081, "D:\\01code\\personal\\flink\...

2019-09-22 16:50:33 1282

原创 Flink实战（二）开发一个简单的程序 WordCount

文章目录开发搭建开发环境启动应用程序1. 启动nc2. 启动程序开发搭建开发环境准备 pom.xml 文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven...

2019-09-22 16:48:22 731 2

原创 Flink实战(一) 开发环境安装

安装windows 安装https://flink.apache.org/zh/downloads.html#section启动flink-1.9.0\bin\start-cluster.batdocker 安装https://ci.apache.org/projects/flink/flink-docs-release-1.9/getting-started/tutorials/...

2019-09-22 16:36:11 615

原创 Docker-compose 安装 hadoop集群

Hadoop 使用docker-compose 构造一个master-2slave的小集群https://github.com/wuhulala/wuhulala-dockerfile/tree/master/hadoop分享感谢 https://github.com/kiwenlau/hadoop-cluster-docker安装clone项目git clone https:...

2019-09-22 16:30:05 857

istio-1.7.0-linux-amd64.tar.gz

从较高的层面来说，Istio 有助于降低这些部署的复杂性，并减轻开发团队的压力。它是一个完全开源的服务网格，作为透明的一层接入到现有的分布式应用程序里。它也是一个平台，拥有可以集成任何日志、遥测和策略系统的 API 接口。Istio 多样化的特性使您能够成功且高效地运行分布式微服务架构，并提供保护、连接和监控微服务的统一方法。

2020-08-23