安装Hadoop生态圈是遇到的问题

yum配置不通：
vi /etc/resolv.conf
更改DNS


hadoop：hadoop的根目录下的logs文件夹下的以.log结尾的文件
文件组成：hadoop-用户名-启动节点-主机名.log
找到挂掉的节点名称和对应主机，打开日志找错
namenode消失：查看日志，发现上面提示namenode的ID信息和datanode的ID信息不一致
解决方案：
1.找到hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.datanode.data.dir的路径
进入路径下可以看到current文件夹，进入文件夹，找到VERSION文件，打开可以看到clusterID
比较NameNode和datanode的ID信息，更改一致并重启hadoop服务
2.1方案解决不了的情况下，或者报错不是ID的问题，首先把
dfs.namenode.name.dir和dfs.datanode.data.dir的路径下的文件全部删除
namenode重新格式化


莫名其妙的少了某一个节点，查看日志，没有报错，重启服务
特殊点：如果直接start服务，报该节点已存在，jps查看，还是没有，那执行stop命令
首先关掉所有节点，jps查看一下，如果发现没有被stop掉的进程，根据进程前的端口号
强制kill掉，确保整个机器jps只有一个jps，再重新启动




hive：
冷门错误：/tmp/mysql.sock.lock文件阻止mysql启动，自动关闭mysql
解决方案：删除mysql.sock.lock文件，重新启动mysql
拒接连接：mysql或者hadoop服务没有启动或少启动了什么，检查主机配置，重启mysql和hadooop服务






zookeeper：
启动zookeeper之后发现没有对应进程，重新启动提示已经存在（提示语句后跟了一个端口号）
证明服务卡在该端口，kill这个端口号，重新启动
zookeeper启动之后jps发现该进程，但是查看zookeeper状态的时候，
发现提示Error contacting service. It is probably not running.
1.启动慢，等一下就好了
2.查看zookeeper日志，发现有一个节点连接失败，查看/etc/hosts文件，确定zoo.cfg
下的配置的主机名和/etc/hosts文件下的配置相同
3.查看zoo.cfg是否配置正确，比如：server.1=centos128:2888:3888两个端口之间的:


查看日志发现Unable to load database on disk
解决方案;zookeeper根目录下的data/version-2文件夹下有内容错误，删除该文件夹下的所有文件
重启zookeeper服务


zookeeper启动正常，查看zookeeper状态提示单例模式，检查hadoop服务是否启动完全
zookeeper端口号被占用，查看zookeeper的默认端口号2181是否有进程，如果有，kill掉，重启服务（有风险）






hbase：
启动主节点之后发现子节点没有被一起启动，查看hbase根目录下的conf/regionservers文件，检查
主机名是否和/etc/hosts文件对应，是否把子节点的主机名写入，是否把localhost删掉
大问题：启动一切正常，子节点的Hregionserver坚持十秒消失
原因：各个主机之间的时间有偏差
解决方案：
1.如果偏差不是很大，在hbase-site.xml中添加hbase.master.maxclockskew属性并赋值
2.如果偏差比较大（装系统的时候指定时区没有指定好），更改核对各个系统时间
注意：时间不是只有时分秒的，还有年月日的，日期不对时间对有什么用！？


启动hbase的时候，因为regionservers的存在，所以只需要在hadoop的NameNode存在的节点
启动hbase就可以了，在当前节点会启动Hregionserver和Hmaster，子节点只会自动启动Hregionserver
如果分开启动，会出现三个Hmaster，识别不了主节点


hbase shell启动报Server is not running
查看日志，safe mode发现节点在安全模式下，关闭安全模式，重启shell




基本操作：
eclipse连接hive错误:
1.连接失败 -- 启动Hadoop集群和hive服务（hive/bin下的hiveserver2）
2.namenode在安全模式下 -- 关闭安全模式 hadoop dfsadmin -safemode leave
3.代码内容有问题
4.hadoop的集群节点有问题（datanode启动不了） --
查看启动日志，发现datanodeID和namenodeID不匹配，找到datanode和namenode的存放路径
更改version文件中的ID，确保一致，重启hadoop集群
5.打印hive启动运行日志，发现有错，删除数据库hive，重新初始化hive数据库
6.在用eclipse进行hive操作等远程连接操作的时候，每次新建的项目运行下面报路径找不到
（file开头，后面跟代码中指定路径的信息 -- no input path:file:/hiveinput）
注意file这个开头，我们在hadoop基础配置文件里，默认的执行路径是file://centos128:9000/input
后者是一个在hdfs下的输入路径，然而我们报的错，是以file开头，这个是以本地作为数据源的
错误来源：没有配置core-site.xml文件或配置错误，没有指向正确的访问路径
注意：配置文件要放在src/main/resources路径下，创建文件夹的时候，要在下面的基础目录下创建




rz上传文件直接跳过 -- 文件已存在
{XXX：java.long.string} -- XXX类型转化失败，看一下要转换的数据格式类型是否正确
{：java.long.string} -- 源文件有空行，从hive角度看不出来，找源文件，有N个空行
初始化函数失败（FAILED: Execution Error,
 return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask） -- 
1.导包路径重复（包名和类名），包或者类的名字错误，更改包名或类名重试
2.自定义的函数名字（关键字）
3.类里面内容有错
4.类没有继承UDF
5.create function （直接创建函数，不是临时的 temporary） --
增加temporary选项，重新看错