hadoop
大数据蝼蚁
一个菜菜菜鸟
展开
-
Hadoop支持LZO压缩及创建LZO索引
0. 环境准备maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)gcc-c++zlib-develautoconfautomakelibtool通过yum安装即可,yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool1. 下载、安装并编译LZOwget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.ta.原创 2021-10-11 21:03:01 · 346 阅读 · 0 评论 -
hadoop集群问题合集(八) 初始化namenode报错:xml document structures must start 。。。。。。
hadoop集群问题合集(八) 初始化namenode报错:xml document structures must start 。。。。。。初始化namenode报错:xml document structures must start 。。。。。。这个错误是说你的配置文件,是xml文件,但是你的配置文件缺少了关键的xml标签。比如:最开头的xml标签都没了。在文件最前边加上下边这两句:<?xml version="1.0" encoding="UTF-8"?>.原创 2020-05-18 19:41:32 · 3300 阅读 · 0 评论 -
hadoop集群问题合集(七)初始化namenode报错:The markup in the document following the root element must be well-form
hadoop集群问题合集(七)初始化namenode报错:The markup in the document following the root element must be well-formed初始化namenode报错:The markup in the document following the root element must be well-formed如下这个就是说你的这个配置文件,里边没写全标签,比如<configuration>对应的</conf原创 2020-05-18 19:40:03 · 2003 阅读 · 0 评论 -
hadoop集群问题合集(六) namenode启动不了。查看日志显示storage directory doesn’t exist or is not accessible
hadoop集群问题合集(六) namenode启动不了。查看日志显示storage directory doesn’t exist or is not accessible如果启动日志显示了storage directory doesn’t exist or is not accessible,如图:这种情况一般都是因为你以前的某些操作,不是当前登录的用户操作的,多见为root用户,导致现在的用户并没有操作的权限。解决方案:找到这个目录,通过ll可以看到用户的属主,这个涉及到linux用户原创 2020-05-18 19:38:51 · 1470 阅读 · 0 评论 -
hadoop集群问题合集(五)java.io.FileNotFoundException: /home/hadoop01/data/hadoopdata/name/in_use.lock (Permi
hadoop集群问题合集(五)java.io.FileNotFoundException: /home/hadoop01/data/hadoopdata/name/in_use.lock (Permission denied)如果启动日志显示了java.io.FileNotFoundException: /home/hadoop01/data/hadoopdata/name/in_use.lock (Permission denied)说明你的集群上次并没有正常退出!!!解决方案:直接删除图原创 2020-05-18 19:37:18 · 743 阅读 · 0 评论 -
hadoop集群问题合集(四) namenode启动不了。查看日志显示 port in use : 0.0.0.0 : 50070
hadoop集群问题合集(四) namenode启动不了。查看日志显示 port in use : 0.0.0.0 : 50070如果namenode节点没有启动,查看启动日志发现报错如下:解决方案:打开linux的地址映射文件(vim /etc/hosts),显示是不是这个样子?但是前边需要加上两行:127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1...原创 2020-05-18 19:35:00 · 2773 阅读 · 0 评论 -
hadoop集群问题合集(三) datanode启动不了。查看日志显示 incompatible clusterIDs in xxxxxx
hadoop集群问题合集(三) datanode启动不了。查看日志显示 incompatible clusterIDs in xxxxxx关于DataNode启动不了的问题:如果jps发现自己的datanode没能启动,查看启动日志发现如图所示的错误,那么说明你的一定做过类似重新初始化namenode的操作,导致两次iD不一样。解决方案:重新初始化我们的namenode即可。但是这个初始化有一个操作步骤。步骤:1、关掉各节点进程和集群2、先清空data和name的内容3、初.原创 2020-05-18 19:24:37 · 763 阅读 · 0 评论 -
hadoop集群问题合集(二) hadoop已经正常启动,但是浏览器访问并无显示
hadoop集群问题合集(二) hadoop已经正常启动,但是浏览器访问并无显示假如我们的hdfs已经正常启动了(即namenode、DataNode。Resourcemanager等都已经正常启动了),但是在浏览器输入hadoop01:50070并没有任何显示:如图: 解决方案:请检查自己的虚拟机是否安装了httpd服务,并检查是否启动,防火墙记得关闭,或者需要开放相应端口。...原创 2020-05-18 16:53:10 · 3955 阅读 · 2 评论 -
hadoop集群问题合集(一)之前提: hadoop启动日志怎么查看
hadoop集群问题合集(一) hadoop启动日志怎么查看每次通过start-dfs.sh 或者start-yarn.sh 启动的时候,系统都会写启动日志,当你jps发现缺少某些进程的时候,可以查看日志得到反馈修改错误。这是非常好用的技巧!!!那下边说一下怎么看启动日志:如图比如这张图:strat-dfs.sh以后,jps发现没有namenode。在图片的第三行也可以发现这些都是写启动日志的反馈,看到logging to xxxxxx,这个位置,就是我们的启动日志存放的位置,但不是这个.out原创 2020-05-18 16:50:11 · 4199 阅读 · 2 评论