HDFS
文章平均质量分 93
我是故意来地球的
这个作者很懒,什么都没留下…
展开
-
sparkRDD函数详解
这里写目录标题1、RDD操作详解1.1 基本转换1) map2) filter3) flatMap4) mapPartitions5) mapPartitionsWithIndex6) mapWith7) flatMapWith8) coalesce9) repartition10) randomSplit11) glom12) union并集13) distinct14) intersection交集15) subtract16) subtractByKey17) groupbyKey18) reduce原创 2021-04-29 15:41:48 · 172 阅读 · 0 评论 -
hadoop中yarn容错机制
在yarn中,由于是分布式计算框架,一个作业(job)可能运行在不同的的计算节点中,也就是分而治之。那么如果一个job中的某个task由于某种原因,而出现故障,那么,yarn是如何容错的?任务失败最常见的情况就是1、mapTask或者reduceTask中由于代码原因抛出异常,jvm在关闭之前,会通知mrAppMaster这个task任务失败,在mrAppMaster中,就任务标记为失败,并...原创 2020-01-03 14:52:53 · 931 阅读 · 0 评论 -
spark本地调试内网hdfs
spark读取hdfs文件原理 /**获取具有任意输入格式的Hadoop文件的RDD * * 因为Hadoop的RecordReader类对每条记录重新使用相同的可写对象, * 所以直接缓存返回的RDD或直接将其传递给聚合或无序处理操作将创建同一对象的多个引用。 * 如果计划直接缓存、排序或聚合Hadoop可写对象,您应该首先使用“map”函数复制它们。 * @pa...原创 2019-12-20 18:31:29 · 300 阅读 · 0 评论 -
Hadoop之HDFS读写流程
HDFS写流程HDFS写流程步骤创建文件1、客户端调用DistributedFileSystem.create()方法Rpc方式(ClientProtocol.create())远程调用NameNode(NameNodeRpcServer)的create()方法在HDFS上创建文件。2、NameNode将该事务操作保持到edits.log文件当中3、NameNode.create()创...原创 2019-10-25 15:57:15 · 315 阅读 · 0 评论 -
Hadoop之HDFS基础概念(二)
HDFS架构大多数分布式框架都是主从架构HDFS也是主从架构1、namenode:主节点,也成管理节点、名称节点2、datanode:从节点,原创 2019-10-18 15:01:28 · 731 阅读 · 0 评论 -
Hadoop之HDFS基础概念(一)
HDFS是什么1、HDFS是hadoop的一个存储子模块。2、HDFS(全称Hadoop Distributed File System),即为hadoop的分布式文件系统3、File System:文件系统,cao原创 2019-10-14 18:58:59 · 341 阅读 · 0 评论