CentOS下sqoop1.4.4的安装

原创 2013年12月03日 22:16:56

1. 我的hadoop的版本是1.1.2,对应的sqoop是sqoop-1.4.4.bin__hadoop-1.0.0,sqoop-1.4.4.bin__hadoop-1.0.0的下载地址:

    http://www.apache.org/dyn/closer.cgi/sqoop/

    我选的是其中的ttp://mirrors.hust.edu.cn/apache/sqoop/,选择1.4.4版本下的sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

2. 解压sqoop安装文件,修改conf/sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/hadoop-1.1.2/

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/hadoop-1.1.2

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/hbase-0.94.13

3. 复制sqoop-site-template.xml,命名为sqoop-site.xml,内容不变

4. 下载myql-connector-java-5.0.8.jar,放到@SQOOP_HOME/lib中

5. 下载并安装Mysql,在命令行中输入

    > yum install mysql

   mysql默认用户名是root,密码为空

  我安装完mysql后,在命令行中输入mysql -u root,报错了,后来网上查资料,输入如下命令:

     >service mysql start

     >mysql -u root 

   显示mysql启动成功

6. 从MySQL导入数据到HDFS

  在mysql中创建数据库,名为sqoop,旗下有个表叫student,表结构为id int,name text

  测试sqoop与mysql的连接:>bin/sqoop list-database --connect jdbc:mysql://localhost:3306/ --username root

  从mysql导入数据到HDFS:>sqoop import --connect jdbc:mysql://localhost:3306/ sqoop --usernaem root --table student -m 1

7. 在HDFS上查看数据是否导入

   >hadoop dfs -ls student

 









sqoop-1.4.5安装指导

Sqoop安装指导 版本描述 操作系统:centos 6.5 64 bit Hadoop:Hadoop 2.4.0 Sqoop: 1.4.5 网络规划 前提条件是已经安装了hadoop和h...
  • totxian
  • totxian
  • 2014年11月03日 17:05
  • 1343

CentOS下安装Eclipse

本文转自:http://www.centoscn.com/image-text/install/2014/0507/2924.html
  • MENGERN
  • MENGERN
  • 2014年09月07日 13:33
  • 994

Sqoop1.4.4在Hadoop2.2.0集群上的安装

问题导读:         1、Sqoop在Hadoop与关系型数据库之间传输数据,需要修改哪个配置文件?         2、需要将对应的关系型数据库JDBC驱动包拷贝到哪个目录下? 一、Sqoop...
  • NIITYZU
  • NIITYZU
  • 2015年01月18日 12:36
  • 1384

CentOS下使用pip安装scipy

使用yum也可以安装,参考之前的博文,!Python学习-安装pip和scikit-learn这里使用pip来安装在linux上用pip安装scipy需要blas/lapack的支持。这里下载的是la...
  • Dream_angel_Z
  • Dream_angel_Z
  • 2016年01月13日 18:28
  • 1234

windows10下安装centos7双系统

 Windows10下centos7双系统安装流程 工具及软件: 笔记本电脑一台; U盘两个(PE盘、centos7安装盘不小于8G) Cento...
  • kuangdang178
  • kuangdang178
  • 2017年03月12日 00:33
  • 1222

在CentOS7命令行模式下安装虚拟机

1.主机环境描述: 操作系统:CentOS7 系统GUI:无 CPU:Intel4代,内存:16G, 硬盘1T 主机IP地址:192.168.0.95(内网) 已开启的服务:ssh,ftp, samb...
  • sunnyfg
  • sunnyfg
  • 2016年05月24日 21:42
  • 4933

在centos下用cmatrix做出黑客屏幕数字下雨效果

如图: 注意:试了在centos下面使用wget命令不能用. 步骤1:在网盘下载cmatrix 链接: https://pan.baidu.com/s/1pM4j9SB 密码: yjh5...
  • springyh
  • springyh
  • 2018年01月30日 13:14
  • 139

在centos6.4下安装php的mssql驱动

由于公司项目的原因,数据库一直用的是window + apache + php + mssql,现在准备把程序迁移到linux,但是数据库暂不迁移,所以需要在linux下用php连接mssql。但是程...
  • ijibu
  • ijibu
  • 2013年09月25日 09:31
  • 2182

Python+Selenium基础1-2:CentOS环境安装Python&&Selenium

1.  所需组建 1.1  Selenium for python 1.2  Python 2. 环境搭建 1)安装Python3.6(升级到3.6) CentOS6.5环境自带...
  • Rookie_hh
  • Rookie_hh
  • 2017年10月09日 19:37
  • 237

新手教你centOS 6.5下面如何安装Oracle 11g(通用版)

由于课程需要,本人需要在centOS 6.5下面安装Oracle 11g,对于我这么一个对Linux一无所知的菜鸟,确实任务很艰巨。但是所幸的是,在第一遍装的遍体鳞伤之后,第二遍成功安装运行。 在网...
  • j754379117
  • j754379117
  • 2014年10月18日 22:16
  • 14336
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CentOS下sqoop1.4.4的安装
举报原因:
原因补充:

(最多只允许输入30个字)