![](https://img-blog.csdnimg.cn/20201120145512531.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据Hadoop 3.X分布式处理实战
基于《大数据Hadoop 3.X分布式处理实战》的笔记
木子津
程序员实习生,一起加油!
展开
-
Hadoop分布式文件系统HDFS的JAVA-API实战
Hadoop分布式文件系统HDFS的实战 HDFS JAVA API 搭建Linux下Eclipse开发环境 将eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz和hadoop-eclipse-plugin-2.7.1.jar上传/usr/local目录下解压 [root@hadoop0 local]# tar -xvf eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz 为Eclipse安装Hadoop插件 图片15原创 2020-11-21 16:39:25 · 378 阅读 · 0 评论 -
Hadoop分布式文件系统HDFS的理论知识
Hadoop分布式文件系统HDFS的理论 1.HDFS原理 1.1Namenode,Datanode,Secondary Namenode三个组件(进程) Namenode(领导) HDFS守护进程,用来管理文件系统命名空间,主要功能对内存和IO进行集中管理,内存中存储的元数据用’Editlog+FsImage’表达 Editlog记录元数据的操作日志,包括任何对文件系统元数据的修改操作 FsImage保存了元数据镜像文件(文件系统的目录树) Datanode(程序员) 文件系统的工作节点,根据需要原创 2020-11-21 16:08:40 · 289 阅读 · 0 评论 -
Hadoop伪分布式安装-一条龙服务,欢迎留言问题
Hadoop伪分布式安装 提前需要准备的软件和安装包 VMware12,Xshell,Xftp CentOS-7-x86_64-DVD-2009.iso jdk-8u152-linux-x64.tar.gz,hadoop-3.0.0.tar.gz linux小技巧 1.Linux严格区分大小写,一定要注意大小写 2.vim使用比vi好,vim有颜色区分,配置出现错误可以更容易发现 3.出现错误不要立即百度,要独立先看问题的意思,最近几步是否有错误 4.一定要写开发操作文档,避免写完就忘 5.针对配置文档的原创 2020-11-20 21:02:16 · 153 阅读 · 0 评论