配置sqoop和mssql

将mssql 的jar包:sqljdbc4.jar 拷贝到SQOOP_HOME/lib下

 

配置sqoop  

cd /home/support/sqoop-1.4.5/conf  

 

cp sqoop-env-template.sh sqoop-env.sh

 

修改sqoop-env.sh文件

增加:

export HADOOP_COMMAND_HOME=/usr/local/hadoop-0.20.2

 

export HADOOP_MAPRED_HOME=/usr/local/hadoop-0.20.2

 

export HIVE_HOME=/usr/local/hive-0.7.1-bin

 

修改环境变量:

vi ~/.bashrc

 

新增配置:

export SQOOP_HOME=/usr/local/sqoop-1.4.5

 

设置环境变量MSSQL_CONNECTOR_HOME:

export MSSQL_CONNECTOR_HOME=/usr/local/sqoop-sqlserver-1.0

 

export PATH=$PATH:/usr/local/sqoop-1.4.5/bin

 

重新加载配置

source ~/.bashrc

 

必须先配置好了SQOOP_HOME才可以安装

cd /usr/local/sqoop-sqlserver-1.0

./install.sh

 

测试

sqoop eval --connect "jdbc:sqlserver://10.0.32.16:1433;databaseName=Mola_Analysis;username=myuser;password=mypwd" --query "select * from st_HelloWorld where StatDate = '2013-06-04'"

 

 

 

sqoop-sqlserver-1.0.tar.gz下载地址

http://pan.baidu.com/s/1eQ3omOU

配置Hadoop 3.4与Sqoop的过程涉及到几个关键步骤,以确保Sqoop能够正确地与Hadoop集群进行交互,并执行数据导入导出任务。下面是配置Sqoop连接Hadoop集群的基本步骤: 1. 确认Hadoop环境已经正确安装,并且Hadoop集群正在运行。你可以通过运行`jps`命令来检查Java进程,确保NameNode、DataNode等关键进程正在运行。 2. 下载并安装Sqoop。可以从Apache Sqoop的官方网站或者使用包管理工具下载Sqoop的安装包,并解压缩到指定目录。 3. 配置Sqoop环境变量。在你的shell配置文件中(如`.bashrc`、`.bash_profile`等),添加Sqoop的bin目录到`PATH`环境变量中,例如: ```bash export PATH=/path/to/sqoop/bin:$PATH ``` 替换`/path/to/sqoop/bin`为你的Sqoop安装目录下的bin目录的实际路径。然后,使用`source`命令使配置生效,例如: ```bash source ~/.bashrc ``` 4. 配置SqoopHadoop的连接。Sqoop需要知道Hadoop集群的配置文件位置,这通常位于Hadoop安装目录下的`etc/hadoop`目录中。你需要设置环境变量`HADOOP_CONF_DIR`指向该目录,例如: ```bash export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop ``` 替换`/path/to/hadoop/etc/hadoop`为你的Hadoop配置目录的实际路径。 5. 验证Sqoop配置。启动Sqoop客户端并尝试列出HDFS上的目录,以验证Sqoop是否能够与Hadoop集群正常通信: ```bash sqoop list-dirs --connect jdbc:hdfs://<namenode-host>:<port> ``` 替换`<namenode-host>`和`<port>`为你的Hadoop集群的NameNode主机名和端口。 注意:在进行配置时,确保你的Hadoop集群配置文件(如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等)已正确配置,并且Sqoop有适当的权限来访问这些文件。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值