【达梦数据库】sqoop配置达梦

已于 2022-05-12 22:52:37 修改
阅读量3k 收藏 9
点赞数 2
分类专栏： 达梦数据库 文章标签： big data 数据库
于 2022-03-01 21:22:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33965675/article/details/123216492
版权

sqoop 配置达梦

由于我的hadoop集群的虚拟机hadoop01，hadoop02，hadoop03中 hadoop03虚机丢失，因此采用克隆出的hadoop05制作单节点环境进行测试

前言

由于 hadoop5是克隆出的节点，因此需要将原有的环境进行备份操作

#hadoop05上配置文件的路径为
/home/hadoop01/hadoop/apps/hadoop-2.7.6/etc
#将其中的hadoop 目录进行拷贝复制
[hadoop01@hadoop05 etc]$ ls
hadoop  hadoop_20220201

使用环境

配置项配置值
虚拟机hadoop05
ip192.168.142.241
OSuserhadoop01
hadoop版本hadoop-2.7.6
sqoop版本sqoop-1.4.6
达梦版本dm8

hadoop伪分布式安装

1、jdk 版本检查

[hadoop01@hadoop05 hadoop]$ java -version 
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

修改 hadoop-env.sh 配置文件，添加 jdk 安装目录配置

export JAVA_HOME=/usr/local/jdk1.8.0_221

2、修改core.xml

<configuration>

<!-- 指定 hadoop 数据存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop01/data/hadoopdata/</value>
</property>

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop05:9000</value>
</property>
</configuration>

3、修改slaves

hadoop05

4、hadoop环境变量

[hadoop01@hadoop05 hadoop]$ echo $HADOOP_HOME
/home/hadoop01/hadoop/apps/hadoop-2.7.6
[hadoop01@hadoop05 hadoop]$ pwd
/home/hadoop01/hadoop/apps/hadoop-2.7.6/etc/hadoop
[hadoop01@hadoop05 hadoop]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop01/hadoop/apps/hbase-1.2.6/bin:/usr/local/jdk1.8.0_221/bin:/home/hadoop01/hadoop/apps/hadoop-2.7.6/bin:/home/hadoop01/hadoop/apps/hadoop-2.7.6/sbin:/home/hadoop01/hadoop/apps/zookeeper-3.4.10/bin:/home/hadoop01/hadoop/apps/apache-hive-2.3.2-bin/bin:/home/hadoop01/hadoop/apps/flink-1.7.2/bin:/home/hadoop01/bin:/home/hadoop01/hadoop/apps/scala-2.11.8/bin:/home/hadoop01/hadoop/apps/spark-2.3.1-bin-hadoop2.7/bin:/home/hadoop01/hadoop/apps/spark-2.3.1-bin-hadoop2.7/sbin:/home/hadoop01/hadoop/apps/kafka/bin

5、格式化namenode

hadoop namenode -format
#运行成功后如下图所示

在这里插入图片描述

6、启动dfs

[hadoop01@hadoop05 hadoop-2.7.6]$ start-dfs.sh 
Starting namenodes on [hadoop05]
hadoop05: starting namenode, logging to /home/hadoop01/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop01-namenode-hadoop05.out
hadoop05: starting datanode, logging to /home/hadoop01/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop01-datanode-hadoop05.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop01/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop01-secondarynamenode-hadoop05.out
[hadoop01@hadoop05 hadoop-2.7.6]$ jps
5424 NameNode
5558 DataNode
5838 Jps
5726 SecondaryNameNode

7、启动yarn

[hadoop01@hadoop05 hadoop-2.7.6]$ start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /home/hadoop01/hadoop/apps/hadoop-2.7.6/logs/yarn-hadoop01-resourcemanager-hadoop05.out
hadoop05: starting nodemanager, logging to /home/hadoop01/hadoop/apps/hadoop-2.7.6/logs/yarn-hadoop01-nodemanager-hadoop05.out
[hadoop01@hadoop05 hadoop-2.7.6]$ jps
5424 NameNode
6000 NodeManager
6212 Jps
5558 DataNode
5895 ResourceManager
5726 SecondaryNameNode

8、验证

1）检查进程数

[hadoop01@hadoop05 hadoop-2.7.6]$ jps
5424 NameNode
6000 NodeManager
6212 Jps
5558 DataNode
5895 ResourceManager
5726 SecondaryNameNode

2）访问网页

#hdfs的访问地址
http://192.168.142.241:50070/

在这里插入图片描述

3)mapreduce

 http://hadoop01:8088/cluster/cluster

在这里插入图片描述

配置sqoop环境

1、解压安装包

cd 
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha apps/sqoop-1.4.6

2、配置环境变量

1）在~/.bash_profile新增sqoop环境变量

export SQOOP_HOME=/home/hadoop01/hadoop/apps/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

2）验证

[hadoop01@hadoop05 conf]$ source ~/.bash_profile 
[hadoop01@hadoop05 conf]$ sqoop version
Warning: /home/hadoop01/hadoop/apps/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /home/hadoop01/hadoop/apps/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
22/02/20 10:57:08 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Sqoop 1.4.6
git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25
Compiled by root on Mon Apr 27 14:38:36 CST 2015

3、配置sqoop运行所需环境变量

cd $SQOOP_HOME/conf
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
#修改环境变量参数
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop01/hadoop/apps/hadoop-2.7.6

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop01/hadoop/apps/hadoop-2.7.6

5、将达梦驱动复制到$SQOOP_HOME/lib目录下

sqoop数据导入与导出

查看SYSDBA用户下所有表

./sqoop list-tables --driver dm.jdbc.driver.DmDriver  --connect jdbc:dm://192.168.142.235:5247 --username SYSDBA --password SYSDBA

在这里插入图片描述

sqoop数据导入(dm导出到hdfs)

1）执行命令

#select * from "SYSDBA"."BAK_DMINI_210714";

./sqoop import --driver dm.jdbc.driver.DmDriver  --connect jdbc:dm://192.168.142.235:5247 --username SYSDBA --password SYSDBA --table BAK_DMINI_210714 -m 1

./sqoop import --driver dm.jdbc.driver.DmDriver --connect jdbc:dm://192.168.142.235:5247 --username SYSDBA --password SYSDBA --table BAK_DMINI_210715 -m 1

2）执行结果
在这里插入图片描述

3）hdfs查看
在这里插入图片描述

4） 查看文件内容

hadoop fs -ls /user/hadoop01/BAK_DMINI_210714
hadoop fs -cat  /user/hadoop01/BAK_DMINI_210714/part-m-00000

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-flndNgMQ-1646140753516)(sqoop配置达梦.assets/image-20220220113003291.png)]

sqoop数据导入(hdfs导出到dm)

#select * from "SYSDBA"."BAK_DMINI_210714";

./sqoop import --driver dm.jdbc.driver.DmDriver  --connect jdbc:dm://192.168.142.235:5247 --username SYSDBA --password SYSDBA --table BAK_DMINI_210714 -m 1

./sqoop export --driver dm.jdbc.driver.DmDriver --table BAK_DMINI_210714 --connect jdbc:dm://192.168.142.235:5247  --username SYSDBA --password SYSDBA --export-dir /user/hadoop01/BAK_DMINI_210714/part-m-00000 --columns EMPLOYEE_ID,START_DATE,END_DATE,JOB_ID,DEPARTMENT_ID --input-fields-terminated-by ',' --input-lines-terminated-by '\n'

停止dfs

[hadoop01@hadoop05 lib]$ stop-yarn.sh 
stopping yarn daemons
stopping resourcemanager
hadoop05: stopping nodemanager
no proxyserver to stop
[hadoop01@hadoop05 lib]$ jps
5424 NameNode
5558 DataNode
11371 Jps
5726 SecondaryNameNode
[hadoop01@hadoop05 lib]$ stop-dfs.sh 
Stopping namenodes on [hadoop05]
hadoop05: stopping namenode
hadoop05: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
[hadoop01@hadoop05 lib]$ jps
11722 Jps
气可鼓不可泄
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
配置sqoop的环境变量
tao_wei162的博客
01-24 2436
简述了sqoop的的功能，作用，以及版本演进，那么本篇我们就来实战下，看下如下安装使用sqoop（注：散仙在这里部署的是sqoop1的环境搭建）。 首先，sqoop是基于Hadoop工作的，所以在这之前，确保你的Linux环境下，已经有可以正常工作的hadoop集群，当然伪分布式和完全分布式都可以。 其次，我们得下载一个sqoop的安全包，散仙在这里使用的是sqoop1，版本是sqoop1....
达梦数据同步
03-04
达梦数据同步软件(Heterogeneous database Synchronization for DM，缩写为DMHS)是达梦公 司推出的新一代支持异构环境的高性能、高可靠、高可扩展数据库实时同步系统。该产品基于成熟 的关系数据模型和标准接口，跨越多种软硬件平台，支持强大而灵活的拓扑结构，能以极少的系统 开支实现秒级数据实时同步，可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维 护、订阅分发、多业务中心等业务领域
sqoop（一）数据库数据导入hive
weixin_42934205的博客
05-12 1077
sqoop（一）数据库数据导入hive 将达梦数据库数据导入到hive 将达梦数据库的驱动放到sqoop安装路径下的lib路径下（其他数据库同样操作） sqoop命令是： sqoop import --driver dm.jdbc.driver.DmDriver --connect \ jdbc:dm://192.168.xx.xx:xxxx/METACENTER \ --username XXXXX \ --password xxxxx \ --query "select * from
SQOOP详细讲解
最新发布
Szy66677的博客
05-14 1243
​要知道你要数据的来源和数据的目的地mysql:--connect--usernameroot--password123456--tablestudent​hdfs:'\t'​hive:1)--create-hive-table (如果表不存在，自动创建，如果存在，报错，就不需要这个参数)testsqoop'\t'2)','# 增量需要添加的参数=================================================append。
安装Sqoop及环境配置
May_J_Oldhu的博客
09-26 369
安装Sqoop一.安装Sqoop及环境配置1.前提条件2.下载并解压3.修改配置文件4.拷贝JDBC驱动5.测试 Sqoop 是否能够成功连接数据库 一.安装Sqoop及环境配置 1.前提条件 安装Sqoop的前提已经具备Java和Hadoop，Hive，Zookeeper，Hbase的环境 2.下载并解压 （1）上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机需要安装的文件夹中（我直接放在我要安装的文件夹下/opt） （2）解压sqoop安装包到指定文件夹 [root@hadoo
Sqoop环境配置
weixin_45348240的博客
04-01 1442
1.已安装了JDK和hadoop 2.将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机中 3.分别输入“java -version”和“hadoop version”验证JDK和hadoop的环境 4.解压sqoop的压缩包并放入/usr/local目录下： tar -xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop-1.4.7
sqoop测试数据
06-01
mysql数据库商品表、品牌和品牌分类表数据，该数据完全是个人自己创建的数据。
sqoop配置.docx
11-10
Hadoop2.6伪分布安装sqoop1.4.6及hdfs与mysql导入导出数据 sqoop安装及简单测试 启动sqoop 启动mysql 从mysql导入数据到hdfs中 从HDFS导出数据到mysql
sqoop常用命令文件
05-25
Sqoop 是 Apache Hadoop 生态系统中的一个工具，主要用于在关系型数据库（如 MySQL、Oracle 等）和 Hadoop 分布式文件系统（HDFS）之间进行数据传输。它简化了将数据导入到 Hadoop 进行大数据分析，以及将处理后的...
Sqoop安装包、安装文档
05-14
1. 连接数据库：在使用Sqoop之前，需要配置数据库连接信息，这通常通过`--connect`参数指定JDBC连接字符串，同时可能需要`--username`和`--password`来认证。 2. 导入数据：`import`命令用于将数据库中的表导入到...
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
电商数仓项目(九) Sqoop安装与配置
03-26
在大数据处理领域，Sqoop是一款用于在Hadoop和传统关系型数据库之间进行数据迁移的工具。本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop，这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细...
sqoop配置使用
popping_kai的博客
04-01 1803
sqoop数据迁移工具 sqoop是apache一款Hadoop和关系数据库服务器之间数据传输工具 导入数据：MySQL，Oracle导入数据库到Hadoop的HDFS、HIVE、HBASE等数据存储系统 导出数据：从Hadoop的文件系统中导出数据到关系数据库 sqoop的原理其实就是将导出导入命令转换成mapreduce程序来执行，sqoop在接收到命令后，都要生成mapreduce程
Sqoop远程连接数据库
qq_34446614的博客
11-25 1036
异常：java.sql.SQLException: null, message from server: “Host ‘***’ is not allowed to connect to this MySQL server” java.sql.SQLException: null, message from server: "Host '***' is not allowed to conne...
Sqoop伪分布式配置
weixin_64443786的博客
05-25 239
sqoop
sqoop-1.4.6安装配置
会飞的猪的 博客
06-27 583
前沿centos 7jdk1.8.0hadoop-2.7.3hbase-1.3.1hive-2.1.1zookeeper-3.4.9Mysql-5...Sqoop-1.4.6解压[hadoop@master local]$ tar -zxvf ./app/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ./soft/进入/usr/local/soft/重...
sqoop安装
lei1291的博客
02-20 203
安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/  2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HADOOP_COMMON_HOME...
达梦数据库安装脚本
ybfw2004的博客
01-15 419
达梦数据库安装 安装： 系统检查 cat /etc/issue uname –m cat /proc/cpuinfo fdisk –l df –h free -m 建目录 mkdir /dm7 建用户 id dmdba groupadd dinstall useradd –g dinstall dmdba passwd dmdba chown dmdba:dinstall –R /dm7 安装扩...
sqoop支撑达梦数据库吗
04-25
Sqoop是一个开源的数据传输工具，用于在Hadoop生态系统和关系型数据库...你可以提供达梦数据库的JDBC驱动程序，并配置Sqoop以使用该驱动程序连接到达梦数据库。这样，你就可以使用Sqoop从达梦数据库中导入和导出数据。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

气可鼓不可泄

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值