hadoop
大数据狂人
学无止境
展开
-
hadoop安裝详解
前提:(1)首先要有三个节点(2)三个节点都需要安装jdk,hadoop(3)关闭三台机器的防火墙,并设置永久关闭,关闭selinux(4)设置三台机器的主机名为node01,node02,node03,并且使主机名和地址相关联一:查看Hadoop压缩后的文件(当openssl为false时利用yum下载openssl-devel)二:修改配置文件 ...原创 2019-11-04 08:23:13 · 1816 阅读 · 0 评论 -
Hadoop1.0与Hadoop2.0的区别
这几天面试时有人问到过,这里我就简单整理下一、从Hadoop整体框架来说 Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。 Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足:针对Hadoop1.0单NameNode制约HDFS的扩展性问题,提出HDFS Fe...转载 2020-08-10 10:19:33 · 3878 阅读 · 0 评论 -
配置成功后hadoop的50070端口不能访问网页
在Hadoop集群搭建完成后,hadoop本身自带了一个webUI访问页面,我们可以观察到一些集群的基本状况,包括磁盘容量和集群节点是否正常存活状态,Hadoop版本,可以查看hdfs的一些文件位置,副本备份情况和文件块大小等。虽然功能简单一些,但是也还可以,能看一些集群的基本信息。当然我们也可以根据需要来自定义开发需要的功能,实现网页操作所有的服务。...转载 2019-11-05 15:23:18 · 4469 阅读 · 0 评论