![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 96
方渐鸿
这个作者很懒,什么都没留下…
展开
-
【2023】hadoop基础介绍
通过分布式的方式进行存储5,为了避免block块丢失,一般会进行冗余备份(通过添加副本块的方式备份),避免文件丢失。在进行读写时,会优先读写到网络距离最近的那台dataNode给客户端进行读写,实现读写的最优解。操作命令添加协议头就会分别是对对应的系统执行,如果不带是会按照。hadoop安装教程可以看我这篇文章===>产品插件用于使用:Big Data Tools。采用的是分散—>汇总模式进行分布式计算。分布式存储:主从架构——架构角色。HDFS只能追加和删除,不能修改。追加数据到HDFS文件。原创 2023-12-28 22:19:33 · 1002 阅读 · 0 评论 -
【2023】通过docker安装hadoop以及常见报错
准备安装的环境,最好是cenos的环境,相对问题会少一些,我因为是mac的内存比较珍贵,所以嫌麻烦就没安装虚拟机,所以问题非常多(所以还是不要嫌麻烦最好),就使用的是mac。的,该镜像除了hadoop还需要有jdk,所以需要先把jdk的包先准备好,因为要用到hive,我把hive的包也内嵌进去了,所以需要把包先准备好。找到下面截图的这个位置把地址修改为jdk的实际安装路径,不要是{}的,路径是前面配置的Dockerfile文件时配置的路径。创建一些文件夹,用于存储hadoop运行时时产生文件的存储。原创 2023-12-28 22:02:21 · 1569 阅读 · 0 评论