大数据集群搭建遇到的问题1

仅供参考

一、Linux自带jdk查看并删除

rpm -qa | grep jdk查看jdk的具体信息，

用rpm -e --nodeps  java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64命令卸载相应的jdk        注：rpm 执行安装包

二、Hadoop安装后报错

解决步骤

方案一 （放到文件头部 空白处）

（1）对于start-dfs.sh和stop-dfs.sh文件，添加下列参数

        HDFS_DATANODE_USER=root

        HADOOP_SECURE_DN_USER=hdfs

        HDFS_NAMENODE_USER=root

        HDFS_SECONDARYNAMENODE_USER=root

（2）对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：

        YARN_RESOURCEMANAGER_USER=root

        HADOOP_SECURE_DN_USER=yarn

        YARN_NODEMANAGER_USER=root

方案二

添加环境变量

        export HDFS_NAMENODE_USER=root

        export HDFS_DATANODE_USER=root

        export HDFS_SECONDARYNAMENODE_USER=root

        export YARN_RESOURCEMANAGER_USER=root

        export YARN_NODEMANAGER_USER=root

三、MySql安装问题

 

 

解决步骤

停止mysql服务

service mysqld stop

        1.找到my.cnf文件

vi /etc/my.cnf

        2.修改配置文件无密码登录

        

         3.刷新状态

                service mysqld restart

        4.重新登录 密码自定

        

四、Kafka分布式连接问题

 解决步骤  关闭防火墙 systemctl stop firewalld.service

五、Hive的一些小坑

（1）hive启动

解决思路 启动hadoop 你在试试

（2）第一次安装

 

解决方案  

        1.退出hive  

        2.运行schematool -initSchema -dbType mysql -verbose 初始化元数据

        3.启动hive