IT技术
文章平均质量分 82
AT鱼
这个作者很懒,什么都没留下…
展开
-
Flink之运行架构
1、先介绍一下flink主要组件:JobManager,作业管理器,它的作用有3点:1、控制一个应用程序的执行,因为一个应用程序进来,都有对应的JobManager,应用程序提交后,JobManager会把应用程序中的JobGraph转为执行图ExecutionGraph、2、会向ResourceManager请求slot插槽来执行任务3、获取资源后会把执行图发给TaskManager进行运行,并在其中进行协调工作ResourceManager,资源管理器,它的作用有2点:1、.原创 2021-03-25 23:44:39 · 299 阅读 · 2 评论 -
Sqoop在mysql、hive、hdfs之间导入导出的使用
#在sqoop的conf下配置sqoop-env.shexport HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3export HIVE_HOME=/opt/module/hive-3.1.2export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7export ZOOCFGDIR=/opt/module/zookeep原创 2021-03-20 20:59:42 · 157 阅读 · 0 评论