![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
「已注销」
这个作者很懒,什么都没留下…
展开
-
在Linux系统上搭建Hadoop集群
在Linux系统上搭建Hadoop集群准备工作1、上传CDH编译后的Hadoop为什么要编译Hadoop 由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题。...原创 2019-11-12 14:01:28 · 755 阅读 · 1 评论 -
HDFS API常用的方法及使用
文章目录POM依赖HDFS API上传本地数据到HDFS系统删除指定路径下的文件创建文件夹及文件,并向文件中写入数据获取指定文件的日期重命名目录获取指定路径所有的文件POM依赖<repositories> <repository> <id>cloudera</id> <url>https://r...原创 2019-11-26 16:14:31 · 347 阅读 · 0 评论 -
Hadoop学习笔记:理论性知识总结
此文章用于记录在学习Hadoop过程中,对于理论性知识的总结一、Hadoop的组成部分HDFS管理者:NameNodeNameNode的作用:1、维护管理文件系统的名字空间2、负责确定指定的文件块到具体的DataNode节点的映射关系3、维护管理DataNode上报的心跳信息辅助管理者:SecondaryNameNodeSecondaryNameNode的作用工作者:...原创 2019-11-07 17:44:57 · 484 阅读 · 5 评论