1、namenode没有启动
解决:查看日志
多次格式化会产生不同的namespaceID,(namespaceID是文件系统命名空间的唯一标识,是在namenode首次格式化的时候创建的)
删除各个节点的data和logs文件,再次格式化解决
2、Zookeeper启动不成功,日志报java.net.BindException: Address already in use
解决:端口号占用
sudo netstat -atunlp | grep 2181
找到对应端口的pid,kill掉就可以了
3、rpm安装时报错 error: Failed dependencies:
解决方法:
在安装包后面加两个参数,如 rpm -ivh 包名 --nodeps --force
加上那两个参数的意义就在于,安装时不再分析包之间的依赖关系而直接安装,也就不会再提示error: Failed dependencies:这样的错误了。
4、mysql安装时 使用此命令查看 文件cat /root/.mysql_secret 没有产生随机密码
不用管,登录时密码为空
5、启动mysql时报错
Starting MySQL...... ERROR! The server quit without updating PID file
解决办法其实很简单:
将 /etc/mysql 下的 my.cnf 文件删除,再次启动MySQL服务
6、启动mysql是报错
bash: ./mysql_install_db: /usr/bin/perl: bad interpreter: No such file or directory
查看日志信息发现error
/usr/sbin/mysqld: Table 'mysql.plugin' doesn't exist
原因:
table ‘mysql.host’不存在的原因是因为新安装的mysql服务后,一般需要执行数据库初始化操作 ,从而生成与权限相关的表,执行命令如下:
/usr/bin/mysql_install_db --user=mysql
注:以上命令中的mysql_install_db与你安装的mysql服务位置有关,如果不知道在哪,可以使用find / -name mysql_install_db找到其位置,然后执行上面的命令。
启动mysql 成功
7、azkaban使用邮件报错javax.mail.AuthenticationFailedException: 535 Error
原因:邮箱授权码错误
这里配置的全部为发件人的信息,mail.user为用户名(qq邮箱默认用户名和密码与qq号和密码相同),mail.password为邮箱授权码
8、安装tez中报错
Exception in thread "main"org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tezjars, tez.lib.uris is not defined in the configurartion。
出现这个问题显然是因为tez没找到tez-site.xml文件的原因,我查了下hadoop的classpath,发现明明已经添加了路径,所以错误原因我也没搞清楚。
我的解决办法是,把tez-site.xml直接放到hadoop_conf_dir($HADOOP_PREFIX/etc/hadoop)下面,在执行的时候就不报错了
10、配置文件有不合法字符
java.net.URISyntaxException: Illegal character in scheme name at index 0:
hdfs://clay01:9000/tez/tez-0.9.1
11、运行Tez时检查到用过多内存而被NodeManager杀死进程问题:
Failing this attempt. Failing the application.
解决方案:
方案一:或者是关掉虚拟内存检查。我们选这个,修改yarn-site.xml
yarn.nodemanager.vmem-check-enabled
false
方案二:mapred-site.xml中设置Map和Reduce任务的内存配置如下:(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
mapreduce.map.memory.mb
1536
mapreduce.map.java.opts
-Xmx1024M
mapreduce.reduce.memory.mb
3072
mapreduce.reduce.java.opts
-Xmx2560M
12、lzo需要自己编译
used by: java.lang.RuntimeException: native-lzo library not available
13、hive建表报错 character ' ' not supported here
解决:Sublime text3 配置 显示空格 tab换行等不可见字符
Preferences -> Settings -User
增加一项 "draw_white_space":"all"
多了三个点,看到了吗~~~