![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 68
优优优优呐
这个作者很懒,什么都没留下…
展开
-
hadoop集群正常启动,却无法访问web页面
我刚刚启动hadoop集群,启动之后发现各个节点都在啊,咋访问不了web页面,上次启动时还能访问啊。我就百度,搜出来基本上都是说你防火墙没关,systemctl status firewalld 这不是已经关上了吗,还是访问不了,又百度出来,你没做host映射还是不行,最后还是改了hdfs-site.xml文件之前是hostname:9870,改成0.0.0.0:9870,然后重启集群就行了。虽然最后确实能访问了,但是我还是不明白,我没改动过集群配置啊,上次可以访问为啥这次就不能访问了原创 2022-05-25 11:34:04 · 5032 阅读 · 5 评论 -
Hadoop
Hadoop基本概念什么是HadoopHadoop是一个分布式基础框架,主要解决了海量的数据的存储和海量数据分析计算问题有什么优势高可靠性、高扩展性、高效性、高容错性可靠性:Hadoop底层维护多个数据副本,即使某个计算元素或者存储出现故障,也不会丢失数据扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度容错性:能够自动将失败的任务重新分配组成HDFSHDFS是一个分布式文件系统,主要三个角色:N原创 2021-06-15 14:45:03 · 70 阅读 · 0 评论 -
Hadoop-HDFS
HDFS概述为什么会有HDFS随着时间的积累,数据量会越来越大,一台服务器保存不完,那就保存在多台服务器下,多台服务器之间不便于管理,所以需要分布式文件管理系统来管理多台服务器上的文件。HDFS就是分布式文件管理系统的一种。HDFS是什么HDFS是一个分布式文件管理系统,用于存储文件,通过目录树来定位文件位置。HDFS使用场景适合一次写入,多次读出的场景。一个文件从创建到写入到关闭之后不需要改变HDFS优缺点优点: 1)高容错性 数据会自动保存多个副本,某一个副本丢失了,会自动原创 2021-06-15 14:35:57 · 305 阅读 · 1 评论 -
Hadoop集群搭建(保姆式教学)
环境准备三台服务器:node00、node01、node02 以及 Java环境链接:https://pan.baidu.com/s/1-V_9d2cWBQzy092lyhwQtQ提取码:0000 (hadoop3.1.3以及jdk1.8的tar包)安装JDK1、通过xftp将jdk的tar包传入到Linux中2、解压 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/3、配置JDK环境变量(/etc/profile文件下)#jdk原创 2021-06-14 19:41:37 · 164 阅读 · 2 评论