Flink--source/数据不同的来源

Flink Source不同的来源

1、Source几个不同的来源

//创建环境
val env = StreamExecutionEnvironment.getExecutionEnvironment

//基本的数据源
//1、端口数据源
env.socketTextStream(“master”,6666)		//连接虚拟机等端口,master是虚拟机主机名,也可以是ip

//2、文件数据源
env.readTextFile(path,"UTF_8")			//path是要读取文件的路径,utf-8是字符编码

//3、本地数据源
env.fromSequeence(1,100)		//是一个Seq,从1到100		内容

env.fromCollection(List(1,2,3,4))		//是一个集合列表,内容格式要一致

env.fromElements(1,2,3,"d")			//单个元素,,内容格式可以不一样

2、kafka作为数据源,flink读取

kakfa producer生产者产生数据,flink读取
//创建环境
val env = StreamExecutionEnvironment.getExecutionEnvironment

//定义kakfa消费者配置文件
val props = new Properties()

//可以传入多个生产者,,master是主机名,也可以换成ip
props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"master:9092,slave1:9092",)
//分组名称
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG,"gr01")

//读取kafka生产者产生的数据
//addSource需要的参数是一个SourceFunction,这里传入的是FlinkKafkaConsumer,也可以自定义,继承RichParallelSourceFunction即可
//FlinkKafkaConsumer:参数1,主题,参数2,序列化,参数3,配置文件
val inputStream = env.addSource(new FlinkKafkaConsumer[String]("test", new SimpleStringSchema(), props))

3、myslq数据库作为数据源,且自定义Source

object MyJDBCSource {
  def main(args: Array[String]): Unit = {

//创建环境
val env = StreamExecutionEnvironment.getExecutionEnvironment

//调用addSource,传入自己写的自定义的Source
env.addSource(new MyJDBCSourceFunc)
.print()

//启动
env.execute()
	}
}

//自定义Source数据源
//在同一个文件下创建一个类,然后继承RichParallelSourceFunction,是多线程的
//参数Worker是一个自己写的样例类,是根据数据中的数据来编写的
class MyJDBCSourceFunc extends RichParallelSourceFunction[Worker] {

	var conn:Connection = _
	var statement:PreparedDtatement = _
	var flag:Boolean = true
//连接数据库
override def open(oarameters:Configuartion):Unit = {
	conn = DriverManager.getConnection("jdbc:mysql://localhos:3306/test?characterEncoding=utf-8&serverTimezone=UTC","root","147258")
	statemant = conn.prepareStatement("select * from stu")
} 

//对从数据库中读取的数据做输出
override def run(ctx:SourceFunction.SourceContext[Worker]):Unit={
//用flag控制循环
while(flag){	
	Thread.sleep(5000)
	val resultSet = statement.executeQuery()
	while(restultSet.next()){
		val id = resultSet.getInt(1)
		val name = resultSet.getString(2)
		ctx.collect(Worker(id,name)) 
		}
	}
}

//控制循环override def cancel():Unit = flag =flase

//关闭连接
override def close():Unit = {
	if(statemant!=null) statemant.close()
    if(conn!=null) conn.close()
}


}

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,您可以按照以下的方式来编写docker-compose.yml文件: ``` version: '3.7' services: jobmanager: image: flink:1.17.0 command: jobmanager ports: - "8081:8081" taskmanager: image: flink:1.17.0 command: taskmanager depends_on: - jobmanager links: - jobmanager:jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TASK_MANAGER_MEMORY_PROCESS_SIZE=1024m elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 environment: - discovery.type=single-node ports: - "9200:9200" mysql: image: mysql:8.0 environment: - MYSQL_ROOT_PASSWORD=<your_password> - MYSQL_USER=<your_user> - MYSQL_PASSWORD=<your_password> - MYSQL_DATABASE=<your_database> ports: - "3306:3306" postgres: image: postgres:13.1 environment: - POSTGRES_USER=<your_user> - POSTGRES_PASSWORD=<your_password> - POSTGRES_DB=<your_database> ports: - "5432:5432" flink-job: image: flink:1.17.0 volumes: - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml - ./lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar:/opt/flink/lib/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar - ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar - ./lib/flink-sql-connector-postgres-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-postgres-cdc-2.3.0.jar command: jobmanager depends_on: - jobmanager - elasticsearch - mysql - postgres links: - elasticsearch:elasticsearch - mysql:mysql - postgres:postgres environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_TM_HEAP_SIZE=1024m - FLINK_PROPERTIES= - FLINK_ENV_JAVA_OPTS= - FLINK_ENV_JAVA_TOOL_OPTIONS= - FLINK_CONF_DIR=/opt/flink/conf - FLINK_LIB_DIR=/opt/flink/lib - FLINK_PLUGINS_DIR=/opt/flink/plugins - FLINK_OPT_DIR=/opt/flink/opt - FLINK_LOG_DIR=/opt/flink/log - FLINK_HOME=/opt/flink volumes: - ./job.jar:/opt/flink/job.jar - ./flink-conf.yaml:/opt/flink/conf/flink-conf.yaml ``` 其中需要注意的是: 1. 在 `flink-job` 服务中,我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。 2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_PROPERTIES`,因为 Flink 在启动时会读取这个环境变量中的配置信息。 3. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_LIB_DIR`,这是因为 Flink 在启动时会从这个目录中加载依赖的jar包。 4. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_CONF_DIR`,这是因为 Flink 在启动时会读取这个目录中的配置文件。 5. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_HOME`,这是因为 Flink 在启动时需要知道它的安装路径。 上述的docker-compose.yml文件可以满足您的要求,在启动容器后,您可以使用以下的命令来进入到flink-job容器中: ``` docker-compose run flink-job /bin/bash ``` 然后,您可以在容器中运行Flink任务了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值