![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
k55
这个作者很懒,什么都没留下…
展开
-
阿里云服务器hadoop端口9000,50070访问不了的问题
启动hadoop后发现9000端口未被占用很是奇怪查看端口命令netstat -tpnl发现9000和50070压根就未被占用,但是hadoop的确启动起来了原因:阿里云服务器有公网ip和私网ip,两个节点之间的通信通过公网ip进行,配置端口号要用到内网的ip地址。core-site.xml 修改成master或者内网ip地址hdfs-site.xml 修改成master或者内网i...原创 2019-06-13 15:59:56 · 3172 阅读 · 0 评论 -
hadoop无法put报错Name node is in safe mode
使用hdfs保存文件hadoop fs -put hello.txt /user/root/hello.txt爆出以下错误在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。我们手动关闭安全模式./hadoop dfsadmin -safemode leave...原创 2019-06-30 14:31:58 · 307 阅读 · 0 评论 -
hadoop的DataNode启动不起来的问题
执行./hdfs namenode -format和./start-all.sh之后查看进程jps,并未发现DataNode原因:可能是因为每次没有关闭就格式化导致DataNode保存dfs/data/current/VERSION记录的clusterID是上一次格式化的,而不是本次格式化的。(使用./hdfs namenode -format格式化namenode时,会在namenode...原创 2019-06-30 14:14:23 · 7517 阅读 · 3 评论 -
阿里云、腾讯云服务器搭建完全分布式hadoop,hadoop启动异常,内部IP地址、公网ip地址配置问题
问题:在局域网内配置hadoop,只要在/etc/hosts中配置各个节点的局域网地址之后,启动hadoop,name节点NameNode,data节点的DataNode都能正常启动,但是换成阿里云服务器或者腾讯云服务器的时候只能在/etc/hosts配置各个节点的外网地址,那么如此以来name节点的NameNode启动不了,data节点的DataNode也启动不了,那么如果都换成内网地址,显然...原创 2020-07-04 14:36:51 · 1595 阅读 · 11 评论 -
java远程连接hadoop报错: HADOOP_HOME and hadoop.home.dir are unset
在window本地使用java远程连接hadoop,执行hdfs写入命令曝出以下错误这需要为windows下安装hadoop,并且为hadoop配置环境变量为HADOOP_HOME指定你的hadoop目录所在位置,为你的path添加hadoop的bin目录就行了...原创 2019-06-27 12:52:04 · 2246 阅读 · 0 评论 -
java连接hadoop报错: Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback Logger
Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl...原创 2019-06-27 16:53:58 · 11205 阅读 · 0 评论 -
hadoop报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable使用hdfs查看文件的时候会曝出以下错误这个警告的原因是glib库的版本和hadoop的版本不一致导致的,最简单的方式就是修改日志就可以...原创 2019-06-27 10:32:31 · 974 阅读 · 0 评论 -
hadoop和spark的区别和联系
1、hadoop1)hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapRed...原创 2019-06-23 18:34:19 · 14763 阅读 · 0 评论 -
centos7搭建hadoop
系统centos71、安装jdk1)下载jdk(1)下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html(2)安装lrzszyum installl -y lrzsz上传安装包rz(3)解压安装包tar -zxvf jdk-8u25-linux-x64.t...原创 2019-06-12 00:53:08 · 219 阅读 · 0 评论 -
使用docker安装分布式hadoop(阿里hadoop镜像)
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)拉取镜像拉取阿里的hadoop镜像docker pull registry.cn-hangzhou.aliyuncs....原创 2019-06-11 01:17:14 · 32187 阅读 · 14 评论 -
docker安装分布式hadoop
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)在docker中查找hadoop 镜像docker search hadoop2)拉取镜像我们选择star数量最多...原创 2019-06-10 23:36:02 · 1844 阅读 · 2 评论 -
hive启动报错,找不到system:java.io.tmpdir和system:user.name那么
hive启动的时候报如下的错误,那是因为system:java.io.tmpdir和system:user.name找不到,把所有含此字符的都替换成成绝对值就好了。解决:把yarn-site.xml中所有含有system:java.io.tmpdir和{system:java.io.tmpdir}和system:java.io.tmpdir和{system:user.name}替换成绝对路径...原创 2019-06-13 16:23:37 · 1422 阅读 · 0 评论 -
hadoop+flume配置
1、安装flume下载wget http://mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz解压tar -zxvf apache-flume-1.8.0-bin.tar.gz配置环境变量vi /etc/profilesource /etc/profile验证版本flume-ng versi...原创 2019-07-16 16:05:47 · 1368 阅读 · 0 评论