![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
RuiClear
这个作者很懒,什么都没留下…
展开
-
基于docker从零手动搭hadoop分布式集群(超详细亲测有效)
一、目的:仓库中现成的hadoop集群镜像都是一键部署,对于刚学习大数据的同学非常不友好,新手还是需要手动自己搭建集群,这样才能更深入的理解和学习hadoop。考虑到虚拟机太浪费资源,网上搜索到的都是一键式搭建集群的镜像,所以无奈之下就只能自己动手基于docker搭建hadoop分布式集群二、步骤(如果不想麻烦可以直接跳到第4步)环境准备本机下载并按照好docker环境拉取docker centos镜像下载liunx版本jdk压缩包,最好是1.8下载hadoop源码然后编译成源文件,也可以原创 2020-06-14 21:56:41 · 981 阅读 · 2 评论 -
记一此写入HDFS时的报错: org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_
问题:写入HDFS时报错:org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_NONMAPPERDUCE_1129064282_1 on 10.43.42.24 bacause this file lease is currently owned by Client_NONMAP...原创 2019-06-16 16:35:25 · 1228 阅读 · 2 评论