flink-sqlClient和hadoop-hive写入数据

租房请下载：房东直租APP

已于 2022-08-01 15:22:54 修改

阅读量541

点赞数

分类专栏： flink 文章标签： hadoop hive flink 环境搭建

于 2022-07-15 19:02:25 首次发布

本文链接：https://blog.csdn.net/AinUser/article/details/125810846

版权

本文介绍了如何利用Apache Flink的SQL Client工具将数据写入Hadoop Hive集群，包括环境配置、Flink与Hive的集成设置以及具体的数据写入操作步骤。

摘要由CSDN通过智能技术生成

# 1. jdk安装，我这里略过了，不要打我


# 2. 安装hadoop

2.1. 下载安装包
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2.2. 解压安装包
tar -zxvf hadoop-2.7.3.tar.gz

2.3. 创建软连接
ln -s hadoop-2.7.3 hadoop

2.4. 配置环境变量（这里我把jdk和hadoop的环境变量都列上）
export HADOOP_HOME=/root/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME=/opt/jdk-11.0.12
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2.5. 修改配置文件伪分布式
2.5.1. 进入配置文件目录
cd /root/hadoop/etc/hadoop

2.5.2. 修改core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.198.198:9000</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.198.198:9000</value>
        </property>
</configu