apache-sqoop 1.4.6 搭建总结

准备工作：

1.  linux 系统,Java 使用的是 jdk8.0

2. 下载apache-sqoop包准备解压

下载地址: http://archive.apache.org/dist/sqoop/1.4.6/

我下载的是：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3. 下载apache-hadoop包准备解压

下载地址: http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/

我下载的是： hadoop-2.7.5.tar.gz

4. 下载apache-hive包准备解压

下载地址:  https://downloads.apache.org/hive/hive-1.2.2/

我下载的是：apache-hive-1.2.2-bin.tar.gz

apache-sqoop参考博客：https://blog.csdn.net/qq_38483094/article/details/94742961

apache-hadoop参考博客：

集群：https://blog.csdn.net/hliq5399/article/details/78193113

单机：https://www.cnblogs.com/dintalk/p/12234254.html

apache-hive参考博客：

https://blog.csdn.net/wo198711203217/article/details/80691017

https://blog.csdn.net/wo198711203217/article/details/80691017

 

部署步骤：

统一先配置环境变量

1. hadoop

先按照 apache-hadoop参考博客 单机教程搭建各种配置

然后分别启动

第一次，格式化namenode
hdfs namenode -format
# 运行HDFS
start-dfs.sh
# 运行yarn
start-yarn.sh
# 查看运行状况(前提是安装jdk并配置环境变量)
jps
# 停止hdfs
stop-dfs.sh
# 停止yarn
stop-yarn.sh

执行：start-all.sh总是提示密码不对~这个密码是什么密码

解决方案：博客：https://www.imooc.com/qadetail/106114?t=104758

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

在hadoop Web页面下载找不到地址目前我没有完善 但是解决帮忙是修改本地hosts地址，将本地虚拟机地址映射为localhost

localhost 修改为 192.168.3.123 可以下载成功 

 

2. hive 

先按照 apache-hive参考博客 教程搭建各种配置

有可能会遇到的问题：

执行  hive --service metastore &  会遇到报错

解决方案： https://www.cnblogs.com/biehongli/p/8845977.html

原因：因为服务重复了kill -9 RunJar服务ID

创建用户的时候出现的问题：

在mysql 8.x的时候创建hivi的库以及用户的时候会出现问题，mysql5的时候创建用户的时候不适用于mysql 8.x

解决办法：将创建用户和赋权的时候分开执行

create user 'hive'@'%' identified by 'hive';
grant all on hivemeta.* to 'hive'@'%';


create user 'hive'@'localhost' identified by 'hive';
grant all on hivemeta.* to 'hive'@'localhost';

create user 'hive'@'hbaselx' identified by 'hive';
grant all on hivemeta.* to 'hive'@'hbaselx';

3. sqoop

我遇到执行会报错的地方

1. Jdk环境变量没配好

2. 检测不到hive database

解决方案：https://blog.csdn.net/weixin_41668549/article/details/90573565

将hive-site.xml 复制到conf目录下

启动步骤：

1. 先启动hadoop

2. 在启动hive

3. 在执行sqoop脚本