weixin_52315708的博客

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失。在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照。hadoop安装教程可以看我这篇文章===>产品插件用于使用：Big Data Tools。采用的是分散—>汇总模式进行分布式计算。分布式存储：主从架构——架构角色。HDFS只能追加和删除，不能修改。追加数据到HDFS文件。

准备安装的环境，最好是cenos的环境，相对问题会少一些，我因为是mac的内存比较珍贵，所以嫌麻烦就没安装虚拟机，所以问题非常多（所以还是不要嫌麻烦最好），就使用的是mac。的，该镜像除了hadoop还需要有jdk，所以需要先把jdk的包先准备好，因为要用到hive，我把hive的包也内嵌进去了，所以需要把包先准备好。找到下面截图的这个位置把地址修改为jdk的实际安装路径，不要是{}的，路径是前面配置的Dockerfile文件时配置的路径。创建一些文件夹，用于存储hadoop运行时时产生文件的存储。