cdh jar包 sqoop2_cdh版本的sqoop安装以及配置

sqoop安装需要提前安装好sqoop依赖：hadoop 、hive、hbase、zookeeper

hadoop安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html

hive安装步骤请访问：http://www.cnblogs.com/xningge/p/8433792.html

hbase安装步骤请访问：

zookeeper安装步骤请访问：http://www.cnblogs.com/xningge/p/8433618.html

sqoop需要的软件包：sqoop-1.4.5-cdh5.3.6.tar.gz

1、上传sqoop软件包到Linux系统指定目录：/opt/softwares/cdh

2、解压 sqoop软件包到指定目录：/opt/modules/cdh/

tar -zxvf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/modules/cdh/

3 、配置conf/sqoop-env.sh

复制：$ cp -a sqoop-env-template.sh sqoop-env.sh或直接重命名

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6

#set the path to where bin/hbase is available

export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6

#Set the path to where bin/hive is available

export HIVE_HOME=/opt/modules/cdh/hive-0.13.1-cdh5.3.6

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/opt/modules/cdh/zookeeper-3.4.5-cdh5.3.6

4、拷贝jdbc驱动包达到lib目录

$ cp /opt/modules/apache-hive-0.13.1-bin/lib/mysql-connector-java-5.1.27-bin.jar  /opt/modules/cdh/sqoop-1.4.5-cdh5.3.6/lib/

5、测试

查看帮助信息：bin/sqoop help

测试：sqoop 连接 mysql

bin/sqoop list-databases --help

bin/sqoop list-databases --connect jdbc:mysql://hadoop01.xningge.com:3306/ --username root --password ???

cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pa ...

cdh版本的hive安装以及配置

hive依赖hadoop 需要的软件包:hive-0.13.1-cdh5.3.6.tar.gz .hadoop-2.5.0-cdh5.3.6.tar.gz 1.hadoop的安装步骤请访问: http ...

cdh版本的zookeeper安装以及配置(伪分布式模式)

需要的软件包:zookeeper-3.4.5-cdh5.3.6.tar.gz  1.将软件包上传到Linux系统指定目录下: /opt/softwares/cdh 2.解压到指定的目录:/opt/mo ...

CDH版本的oozie安装执行bin/oozie-setup.sh prepare-war，没生成oozie.war?

不多说,直接上干货! 前期博客 Oozie安装部署 问题描述 bin/oozie-setup.sh prepare-war 解决办法 [hadoop@bigdatamaster bin]$ pwd / ...

cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南

hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-c ...

最新版本的JDK安装和配置(Java SE 10.0.2)

1.废话少说,要么百度JDK,要么直接点传送门http://www.oracle.com/technetwork/java/javase/downloads/index.html.这里需要说的JDK包 ...

1.1、CDH 搭建Hadoop在安装之前(配置网络名称)

重要: CDH需要IPv4.不支持IPv6.提示:粘合时,请使用bond0 IP地址,因为它代表所有聚合链接. 按如下方式配置群集中的每个主机,以确保所有成员可以相互通信: 将主机名设置为唯一名称(不 ...

Windows下python 3.0版本django的安装、配置、与启动

使用的环境是Windows操作系统,python的环境是3.6,django是官网上最新的版本1.10.6,本文介绍从安装python之后怎样用过pip管理工具安装django,以及django的项目 ...

《sqoop安装和配置》

参考帖子http://blog.csdn.net/jiedushi/article/details/6663177 http://blog.csdn.net/ww1982_0_0_0/article/ ...

随机推荐

查询修改linux 打开文件句柄数量

查询系统支持最大可打开文件句柄数量: #vi /proc/sys/fs/file-max 查询当前连接用户最大可打开文件句柄数量: #ulimit -a 修改当前连接用户最大可打开文件句柄数量: #u ...

AutoCAD按坐标打印图纸

前几天公司要求按坐标打印DWG文件,中间走了不少弯路,好在已经搞定了,整理一下分享给大家,希望后来人少走弯路. 1. 设计需求: 公司的图纸用AutoCAD2010做成,通常一个项目的所有图纸都存放在 ...

CreateFile使用方法和样例

函数原型: HANDLE CreateFile( LPCTSTR lpFileName, //指向文件名称的指针 DWORD dwDesiredAccess, //訪问模式(写/读) DWORD dw ...

VopSdk一个高逼格微信公众号开发SDK：自动化生产(装逼模式开启)

VopSdk一个高逼格微信公众号开发SDK(源码下载) VopSdk一个高逼格微信公众号开发SDK:自动化生产(装逼模式开启) 针对第一版,我们搞了第二版本,老规矩先定个目标. 一 我们的目标 a.移 ...

TortoiseSVN的安装和使用

TortoiseSVN是windows平台下Subversion的免费开源client. 一般我们都是先讲讲server的配置.然后再讲client的使用,可是在TortoiseSVN上.却能够反过来 ...

Python学习笔记 - function调用和定义

调用函数: #!/usr/bin/env python3 # -*- coding: utf-8 -*- # 函数调用 >>> abs(100) 100 >>> a ...

Java基础18：Java序列化与反序列化

更多内容请关注微信公众号[Java技术江湖] 这是一位阿里 Java 工程师的技术小站,作者黄小斜,专注 Java 相关技术:SSM.SpringBoot.MySQL.分布式.中间件.集群.Linux ...

比beanutil更加灵活的dto转换工具dozer

准确的说,是因为pojo无法一招走天下或者说内外部隔离的原因,所以有些时候,不得不在两个bean之间做copy或者转换映射.对于直接性的属性拷贝beanutil以及能够满足大部分要求,但是如果遇到字段 ...

oracle的loop等循环语句的几个用法小例子

--loop循环用法 (输出1到10) declare v_num number(2) := 0; begin loop v_num := v_num + 1; exit when v_num &gt ...

spring boot 第一个Dome

1.创建Maven项目 按照下面的步骤 项目创建完成后的目录结构 2. 参照Spring boot官方文档修改pom.xml 修改 maven编译的jdk版本 将spring boot设置为 pare ...