flink1.12 sql sql-client命令行连接yarn

最新推荐文章于 2024-06-28 17:37:08 发布

大数据刚入门的小菜鸟

最新推荐文章于 2024-06-28 17:37:08 发布

阅读量1.2k

点赞数

分类专栏： Flink 文章标签： sql kafka java

本文链接：https://blog.csdn.net/weixin_46580067/article/details/126121625

版权

Flink 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

本文介绍了如何使用YARN的fcqueue资源队列进行任务部署，包括步骤1中创建队列和step2中提交SQL任务。通过实例演示了如何通过'yarn-session.sh'和'sql-client.sh'进行操作，适合理解Hadoop YARN体系下的任务管理。

摘要由CSDN通过智能技术生成

step1 开辟资源

这里 fcqueue 是yarn资源队列名称默认是default

yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm yydd -qu fcqueddue
// 如果需要后台运行: yarn-session.sh -s 2 -jm 1024 -tm 2048 -nm yydd -qu fcqueude -d

step2 提交任务

sql-client.sh embedded -s yarn-session

使用demo

-- 建表
CREATE TABLE a(
  dt STRING COMMENT 'dt',
  recordId STRING COMMENT 'recordId',
  relatedFace BIGINT COMMENT 'relatedFace',
  json STRING COMMENT 'json',
  extRecordId STRING COMMENT 'extRecordId',
  capTime BIGINT COMMENT 'capTime',
  channelId STRING COMMENT 'channelId'
) WITH (
 'connector' = 'kafka',
 'topic' = 'fc_body_in_record',
 'properties.zookeeper.connect' = '192.169.0.8:2181/kafka',
 'properties.bootstrap.servers' = '192.169.0.20:9090',
 'format' = 'json',
 'properties.group.id' = 'group-id-1-1655976263361',
 'scan.startup.mode' = 'earliest-offset'
);

-- 查询
select * from a;