配置hadoop,hive,sqoop,mysql遇到的问题和总结

ssh免密配置问题：

 

我当时配的时候namenode机子上忘记给把pub_key钥匙放到authorized_key下面,导致我运行start -all.sh的时候显示无法读取namenode。

所以要分别把本机的pub_key分别放到自己的authorized_key下，和别的机子的authorized_key下。

-----------------------------------------------------------

 

jdk和hadoop版本问题

 

我刚开始的时候用的是jdk1.6和hadoop2.5

，配置伪分布式的时候就尴尬了，明明有配置jdk的环境，但是运行start -all.sh的时候，

一直报错显示，显示无法找到JDK，然后我各种改JDK啊，弄了好久。

后面去官网下载了jdk1.8和hadoop2.9，就没问题了。

 

-----------------------------------------------------------

 

使用CRT连接本地虚拟机时，有时连不上，有时候可以连的上

 

刚开始的时候我使用的是动态IP，结果出现ping不通虚拟机中的ip的问题

后面发现是动态IP不稳定，它有时会自动更改IP地址，所以要使用静态IP

 

关闭防火墙

重启

 

-----------------------------------------------------------

 

 

window可以ping通虚拟机，虚拟中不能ping通window

 

 

window中的VMnet8中ip和网关没有和虚拟中ip和网关对应上。

就出现了window可以ping通虚拟机，虚拟中不能ping通window.

 

-----------------------------------------------------------

 

忘记跟新/etc/profile文件的问题

 

 

每次你有更改过/etc/profile文件，都必须要source /etc/profile，使它生效

 

-----------------------------------------------------------

 

 

Hadoop配置后没有NameNode进程是怎么回事或者有namenode，过一会就消失了？

 

1、先运行stop-all.sh2、格式化namdenode，不过在这之前要先删除原目录，即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录，删除后切记要重新建立配置的空目录，然后运行hadoop namenode -format3、运行start-all.sh已经解决~

 

作者：雷雷

链接：https://www.zhihu.com/question/31239901/answer/51129753

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

 

-----------------------------------------------------------

 

hadoop配置完成后，运行hadoop命令显示出unable to load native-hadoop library for you platform

 

解决方案：https://www.cnblogs.com/kevinq/p/5103653.html

然后记得重启reboot

 

-----------------------------------------------------------

 

 

hive没装成功

 

已解决，原来是本版问题，之前安装的2.2.0版，按网上的教程安装了1.2.2版，就ojbk了

 

记住每次进入hive模式时，必须启动hadoop，要不然会报连接不上的异常，因为它依托在hadoop之上。

 

 

3CRT连接定下来后，不允许修改用户名，会显示

A protocol error occurred. Change of username or service not allowed

 

-----------------------------------------------------------

 

使用sqoop导入数据的时候，只会执行map，reduce执行会报错，但是可以把mysql的数据导入到hdfs中

 

 

未解决

 

 

2使用sqoop导入从mysql到hive中，会报 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly错误。

 

未解决