hadoop
文章平均质量分 90
kobe_yang24
talk is cheap!show your code.
展开
-
Hadoop(二)原理
Hadoop(二)原理 4.HDFS存储方式 数据存储到服务器的过程 1.数据分块(会把数据按照128m一块进行分块)可配置 <property> <name>dfs.blocksize</name> <value>块大小 以字节为单位</value><!-- 只写数值就可以 --> </property> 如果是1k的数据 存储数据的大小就是1k,但是不仅仅需要存储数据,还需要存储元数据的信息()原创 2021-04-15 20:09:16 · 796 阅读 · 0 评论 -
HDFS(一)架构与基本操作
HDFS(一)架构与基本操作 1.从垂直伸缩到水平伸缩的发展 作为Hadoop生态圈中重要的一份子,HDFS起到了分布式存储的功能。 在计算机发展的早期,因为有着摩尔定律(每 18 个月计算机的处理能力提升一倍)的支撑,不管是程序的效率、还是我们的的存储的数据,都可以通过它来解决。存储数据也是可以通过RAID来解决数据暂时的解决 容量、效率以及可靠性的问题。 这种方式更像是一种垂直伸缩的方式,但是垂直伸缩一定是有尽头的,随着互联网时代的到来,摩尔定律也失效了。 互联网发展的浪潮使得所有的公司都开始原创 2021-04-15 17:10:13 · 1073 阅读 · 0 评论 -
Hadoop集群环境搭建
Hadoop集群环境搭建 1环境需求 本文是用过Vmware搭建的三台linux虚拟机。 Vmware安装包自取 Mac:链接:https://pan.baidu.com/s/1unYcc_hc9SA5O5-QvZFe-A 密码:h20j Windows:链接:https://pan.baidu.com/s/1Z5y1DsnT-CmWcGHADd6WwQ 密码:5v0w 2.hadoop集群搭建 2.1linux环境配置(需要三台linux虚拟机都执行) 2.1.1 关闭防火墙 (本地环境访问更加方便,原创 2021-04-07 14:18:57 · 4506 阅读 · 2 评论