hadoop2.X 版本安装(源生态版本) hive sqoop 的安装

基础环境配置

jdk安装配置

mkdir /usr/lib/java

cp jdk-8u25-linux-i586.gz /usr/lib/java

tar -xvf jdk-8u25-linux-i586.gz

/usr/lib/java/jdk1.8.0_66

/usr/lib/java/jdk1.7.0_79

 配置环境变量

使用vim /etc/profile编辑profile文件,在/etc/profile底部加入如下内容

export JAVA_HOME=/usr/lib/java/jdk1.8.0_66

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

--------最后使用source--------

source /etc/profile  让profile文件立即生效。

命令测试

使用javac命令,不会出现command not found错误

使用java -version,出现版本为java version "1.8.0_25"

echo $JAVA_HOME, echo $CLASSPATH, echo $PATH,看看自己的配置是否都正确。

 hadoop2.6 安装准备

vim /etc/hostname         --修改主机名称

Master

Slave1

---------SSH安装----------

apt-get install ssh

输入 "Y"  进行安装并等待自动安装完成

/etc/init.d/ssh start    --安装ssh完成后启动服务

ps -e|grep ssh           --验证服务是否正常启动

-------SSH正常启动--------

设置免密码登录,生产私钥和公钥:

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh localhost            --验证是否正确

exit                     --退出

apt-get install rsync    --更新已经安装的ssh

hadoop安装

mkdir  /usr/local/hadoop
cp hadoop-2.6.0.tar.gz  /usr/local/hadoop/
tar -xzf hadoop-2.6.0.tar.gz
#--修改/etc/profile 配置信息--
vim /etc/profile  
export JAVA_HOME=/usr/lib/java/jdk1.8.0_66
export HADOOP_HOME=/usr/local/ha
  • 26
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop 3.x中配置Sqoop需要执行以下步骤: 1. 下载Sqoop 下载适合Hadoop 3.x版本Sqoop。可以从Sqoop的官方网站下载,也可以从Apache镜像站点下载。一旦下载完成,解压Sqoop到任意目录。 2. 配置环境变量 使用以下命令设置Sqoop环境变量: ``` export SQOOP_HOME=/path/to/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 3. 配置SqoopSqoop的conf目录中,有一个名为sqoop-env-template.sh的文件。将此文件复制为sqoop-env.sh并打开它。设置以下变量: ``` export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive ``` 4. 配置Hadoop连接 在Sqoop的conf目录中,有一个名为sqoop.properties文件。打开此文件并设置以下变量: ``` sqoop.metastore.client.autoconnect.url=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.client.connect.string=jdbc:<database>://<host>:<port>/<database_name> sqoop.metastore.driver=<database_driver_class> sqoop.metastore.username=<database_username> sqoop.metastore.password=<database_password> ``` 其中,<database>是数据库类型,例如mysql;<host>是数据库所在的主机名或IP地址;<port>是数据库服务的端口号;<database_name>是数据库名称;<database_driver_class>是数据库的驱动程序类;<database_username>是数据库用户名;<database_password>是数据库密码。 5. 配置Hadoop连接参数 在Sqoop的conf目录中,有一个名为sqoop-site.xml文件。打开此文件并设置以下变量: ``` <name>hadoop.home.dir</name> <value>/path/to/hadoop</value> ``` 6. 测试连接 使用以下命令测试Sqoop连接是否正常: ``` sqoop list-databases --connect <connection_string> --username <username> --password <password> ``` 其中,<connection_string>是数据库连接字符串,例如jdbc:mysql://localhost:3306;<username>是数据库用户名;<password>是数据库密码。 如果一切正常,Sqoop会返回数据库中的所有数据库名称。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值