大数据技术原理与应用

大数据技术原理与应用

大数据技术原理与应用错题

A. 虚拟机出现无法启动的错误
“获取 VirtualBox COM 对象失败”
获取 VirtualBox COM 对象失败
应用程序将被中断

打开注册表，【开始】-【运行】中输入“regedit”。
修改注册表的如下两项：
HKEY_CLASSES_ROOT\CLSID{00020420-0000-0000-C000-000000000046}\InprocServer32
HKEY_CLASSES_ROOT\CLSID{00020424-0000-0000-C000-000000000046}\InprocServer32
将它们的默认值都改成：
C:\Windows\system32\oleaut32.dll

B.管理员权限不够

sudo +原命令

C.Virtualbox文件拖放问题
Virtualbox和本地主机无法复制、黏贴等
上课方法：点击设备-----共享粘贴板------拖放都设置为双向，再点击安装增强功能
可Virtualbox和本地主机就是不能实现相互复制、黏贴
在虚拟机的Linux系统里面安装工具 irtualbox-guest-x11

sudo apt-get install virtualbox-guest-x11

再把虚拟机重启一下

D. 可能有节点的防火墙开着，尝试关闭防火墙

ping www.baidu.com  #测试与互联网间的网络是否互通
ping 192.168.56.102 #测试与虚拟机hadoop02间的网络是否互通
service iptables stop #关闭

E.Xshell操作
在用Xshell进行操作时，必须要在Virtualbox上启动hadoop的各个节点（同时启动hadoop01、hadoop02、hadoop03）才能成功的在Xshell上成功连接到hadoop。

F.在配置时可能会出现的问题
（1）教程上用的是Master节点和Slave节点，所以教程上的代码中需要把所有的Maser都更改成hadoop01，有可能会出现错误。
（2）其中需要将mapred-site.xml.template重命名为mapred-site.xml，这点很容易遗失。

多次对namenode进行格式化导致节点无法启动的解决
多次格式化namenode造成了namenode和datanode的clusterID不一致。每次格式化时，namenode会更新clusterID，但是datanode只会在首次格式化时确定，因此就造成不一致现象。
解决方法： 直接将 /opt/module/hadoop-2.7.2 下面的 data 和logs 文件夹删除，再对namenode进行格式化即可，随后启动namenode和DataNode 系统会直接帮你创建新的文件夹，此时的clusterID一定是一致的，也能解决此问题。

G.设置环境变量出现的错误

cd ~
vim ~/.bashrc

上面命令使用vim编辑器（查看vim编辑器使用方法）打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

要注意不能只复制教程的path变量，要根据自己下载的java版本改变

H.未找到命令
我的环境变量配置出错了，环境变量PATH被修改了

cd ~
vim ~/.bashrc

修改path变量

I.启动 Hadoop 时提示 Could not resolve hostname
然后在vim ~/.bashrc，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存后，务必执行 source ~/.bashrc 使变量设置生效，然后再次执行 ./sbin/start-dfs.sh 启动 Hadoop。

J.若是 DataNode 没有启动

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

K.启动报Unable to ping server at localhost:1099t

使用IDEA开启Tomcat时候报了这么个错：Application Server was not connected before run configuration stop, reason: Unable to ping server at localhost:1099

可以换个Tomca

L.Intellij IDEA运行报Command line is too long解法
报错内容:

Error running 'ServiceStarter': Command line is too long. Shorten command line for ServiceStarter or also for Application default configuration.

解法:
修改项目下 .idea\workspace.xml，找到标签 ， 在标签里加一行