![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
仁钦宝
写demo,读原码,看文档,源码仿写
展开
-
二、hadoop——分布式环境搭建
1安装版本及环境 vmware11 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版本 2 安装步骤 (1)字符界面安装centos6.5,网络设置为主机模式或者桥连接 (2)配置静态ip 并测试能不能从本地主机ping的通虚拟机.参考:https://blog.csdn.net/yu0_zhang0/article/details/78756160 注释...原创 2019-08-07 15:13:40 · 131 阅读 · 0 评论 -
三、HDFS——(概述、架构、HADOOP Shell命令、HDFS Shell命令、HDFS Java API)
1 HDFS概述 1)HDFS是什么 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版 易于扩展的分布式文件系统。运行在大量普通廉价机器上,提供容错机制。 为大量用户提供性能不错的文件存取服务 适合一次写入,多次读取的场景,不支持文件的修改,适合用来做数据分析,不适合做网盘应用 2)HDFS的优点 高容错性:数据自动保存多个副本(默认3个副本),副本丢失后自动恢复 ...原创 2019-08-07 16:38:34 · 194 阅读 · 0 评论