Spark HadoopRDD读取HDFS文件

最新推荐文章于 2023-10-09 23:34:37 发布
最新推荐文章于 2023-10-09 23:34:37 发布
阅读量1.6w 收藏 16
点赞数
分类专栏： Spark 文章标签： Spark HadoopRDD读取HDFS文件 Spark HadoopRDD 源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thinktothings/article/details/84934070
版权

Spark HadoopRDD读取HDFS文件

更多资源

bilibili 视频说明

width="800" height="500" src="//player.bilibili.com/player.html?aid=37442139&cid=66303785&page=28" scrolling="no" border="0" allowfullscreen="true">

前置条件

  • Hadoop版本: Hadoop 2.6.0-cdh5.15.0
  • Spark版本: SPARK 1.6.0-cdh5.15.0

概述

  • 源码分析Spark HadoopRDD是如何读取HDFS上的文件
  • 分析HadoopRDD预分区的计算方式，非首个分区的开始位置计算
  • 来三种情况分析，不同情部下HadoopRDD的分区计算方式

HDFS数据文件

a b k l j
c a n m o

HDFS 数据文件图解

在这里插入图片描述

HDFS 数据文件图解(对比）

图一

在这里插入图片描述

图二

在这里插入图片描述

断点位置

  • org.apache.hadoop.mapred.LineRecordReader 241行, 246行, 248行,136行

HadoopRDD partition预划分方式(实际会有小的调整)

  • 每个partition的长度= 文件的总长度 / 最小的分区数(默认分区数为2) //注意，是除，结果会取整, 即 goalSize = totalSize / numSplits
  • 示例中每个partition的长度 = 20 / 2 =10 // 即为10个byte
  • 然后依次从0开始划分10个byte长度为一个partition,最后一个小于等于10个byte的为最后一个partition
  • 所以 parition(0) = hdfs文件(0 + 10) //即从文件偏移量为0开始，共10byte,0 <= 值 < 10
  • 所以 parition(1) = hdfs文件(10 + 10) //即从文件偏移量为10开始，共10byte,10 <= 值 < 20
  • 即 partition(i) = hdfs文件( i * goalSize + 10 )

HadoopRDD partition划分原理

  • 由于需要考虑，每个partition谁先执行是不确定的，所以每个partition执行时，都需要可明确计算当前partition的数据范围
  • 由于直接按partition预划分方式，会把有的一行数据拆分，有些场景不适合(如钱金额，词组一般都不希望被拆分，所以一般按行拆分)
  • 所以需要按行做为最小的数据划分单元，来进行partition的数据范围划分
  • HadoopRDD是这样划分的partition,还是按partition预划分方式进行预先划分，不过在计算时会进行调整
  • 对于首个partition,也就是partition(0),分区数据范围的开始位置就是从0开始(0 + goalSize )
  • 对于非首个partition，的开始位置需要从新计算，从预划分的当前partition的开始位置开始找第一个换行符位置(indexNewLine),当前partition的开始位置为= indexNewLine + 1,长度还是goalSize
  • 对于首个partition一定能分到数据(只要HDFS文件有数据)
  • 非首个partition,有可能分不到数据的情况，分不到数据的情况，就是数据被上一个partition划分完了

partition分不到数据(以下情况同时满足)

  • 是非首个partition,也就是不是partition为索引为0
  • partition从预分区开始位置往后读到的第一个换行符大于等于预分区的结束位置
    (或者该partition就没有一个换行符)

源码分析

 override def compute(theSplit: Partition, context: TaskContext): InterruptibleIterator[(K, V)] = {
    v
最低0.47元/天 解锁文章
thinktothings
关注
专栏目录
微分几何笔记(8) —— 切向量，切空间
Sqrtbirthdeath的博客
06-01 2742
上一篇定义了光滑微分流形，这一篇在其上定义光滑函数，并且定义流形之间的光滑映射。
微分流形2：流形上的矢量场和张量场
yxriyin的专栏
07-23 1678
每一个方向导数的结果就是一个“斜率”，理论上我们可以写出这个斜率下经过p点的“直线方程”，我们把所有的方向全部组合在一起，所有的直线就变成了平面，也就是这个场的超平面。也就是说，三维空间下的一个二维曲面是一个微分流形，我们取它的一个局部，它应该同胚于R^2，然后我们应该有一个到R的映射，这就是它的泛函。不过也对，本来求导后得到的是一个切空间，但现在考虑的是完整的流形M，那么所有的切空间的合集应该还是一个标量场。注意“场”是一个映射，把流形映射到一个标量上，形成的一个“场”，这个场是映射本身的性质。
流形、向量场与分布 -- 简述
-贝塔- 的博客
11-23 2067
文章目录流形向量场分布参考资料拓展资料 进入研究室之后做的第一次学习汇报内容，一共分三则叙述，加油打工人！ 流形   先说定义。据 Wikipedia - 流形 , 流形被定义为 “可以局部欧几里得空间化的一种拓扑空间，是欧几里得空间中的曲线、曲面等概念的推广”。   对于欧几里得空间，一般认为标准欧几里得空间是四维及以上的空间，而我们接触得最多的其实是二维和三维的欧几里得空间，也就是我们常见的以平面直角坐标系和空间直角坐标系定义的空间（Wikipedia - 欧几里得空间 ）。这表明只要满足”局部可欧
流，向量场，和微分方程
3A的奇奇怪怪圣地
02-19 3449
什么是“流”？ 在我接触过的各种数学体系中，对于运动和变化的描述，我感觉最为适合的有两种不同的perspective：流和变换群。前者以被作用的对象为中心，运动就是这个东西随时间变化的函数；后者以变换本身为中心，研究的是各种变换所组成的空间的代数和拓扑结构。我想，相对来说，前者对于多数人而言似乎更为直观。在这篇文章里，就以“流”(Flow)的角度展开了。其实，这两种思路有着根本的联系——这种联系体现在李群论的一个基础概念——李群作用(Lie Group Action)，以及由它所延伸出来的丰富的理论。
导数，偏导数，方向导数与梯度的定义与联系
热门推荐
loveliuzz的博客
10-30 1万+
参考博客https://blog.csdn.net/baishuo8/article/details/81408369和知乎https://www.zhihu.com/question/36301367 一、导数（derivative） 导数，是我们最早接触的一元函数中定义的，可以在 xy 平面直角坐标系中方便的观察。当 Δx→0时，P0处的导数就是因变量y在x0处的变化率，反映因变量...
光滑曲线_光滑流形初步(2)——切向量与微分
weixin_39951112的博客
11-21 1742
这是传送门:fjd小弟：光滑流形初步(1)——一些概念和例子​zhuanlan.zhihu.com上次讲了流形的一些基本概念,最后也还提到了重要的单位分解定理,这里就先简单叙述一下.定义(单位分解). 上的单位分解是 上的一族光滑函数 ,使得:1) ;2)支集族 局部有限;3) , .单位分解想要做的事情,就是将流形从局部过渡到整体,有点儿把每一块局部欧式空间拼接起来的意思,这里不详...
微分流形与黎曼几何学习笔记(转自http://blog.sciencenet.cn/home.php?mod=space&uid=81613&do=blog&id=333317)
西西弗的石头
08-10 8096
由于种种原因要恶补一下微分流形和黎曼几何，吸取一下“前辈”们的经验，也希望大家能提供一些更好的经验！   1  自几何佳缘 在这方面我是很有感受的。我整理了一些心得笔记，打算以后给学生上课的时候，把这些内功心法传授给他们。  这里先随便讲两句。 如果楼主想聊聊的话，可
数学分析：含参变量的积分
最新发布
yxriyin的专栏
10-09 3378
最后我们得到了一个卷积的公式。一般，我们可以认为，对于原始函数f(t),我们通过引入了一个脉冲函数，实际也引入了一个额外的时间平移变量。重点来了，我们一个普通的信号f，可以看成分段函数，而当分段趋于无穷的时候，分段函数就趋于f，而这个分段函数，可以用脉冲函数求和来表示。这个的意思是说，一些函数可能不是无限次可微的，那么我们把它和某个 特定的函数卷积后，就可以得到一个无限次可微的函数，而且他是逼近原始函数的。这里要注意变量的区别，首先积分的被积变量是x，但是函数的变量是y，y是参数，所以叫做带参数的积分。
积分的物理意义，格林公式，高斯公式，斯托克斯公式，散度，旋度等
yxriyin的专栏
01-26 2740
他的物理意义，左边首先是做功这样的物理量，右边则是我们取一点M，做一个单位矢量n，过M点做平面和n垂直，再在平面上画一个封闭曲线L包围M。在L上各个点做切矢量t，考察矢量场v和方向t的一致性，越接近我们认为涡旋程度越大，同时，如果矢量场本身大小也大，那么相应的乘积也会变大。而曲面积分，则可以看成一个矢量场通过某个曲面的流量，例如流体的流量，磁力的磁通量等。高斯公式左边的物理意义就是所谓的通过曲面的流量或者通量，而右边需要引出散度的定义。为封闭曲面，单位外法矢量为n，通量就是左边的式子积分。
雅克比行列式补充和曲面的参数方程求导表示法向量
yxriyin的专栏
01-24 2470
注意到，我们现在是F(x,y,z)=0，其实他就是z=f(x,y)的隐函数，也就是说,dz和dx,dy是有关系的。dx,dy可以是任意方向，但dz一定保证了从任何一点出发P(x,y,z), P(x+dx,y+dy,z+dz)一定还是在曲面上。所以，dudv的改变量，到了xy下，就是(x,y),（x(u+du,v), y(u+du,v)）,(x(u,v+dv),y(u,v+dv),(x(u+du,v+dv),y(u+du,v+dv))这四个点围成的新的平行四边形的面积。所以后面两者的叉乘就是它的法向量。
数学分析：隐函数定理和反函数定理
yxriyin的专栏
05-03 1687
这里要注意，梯度和切平面是相互垂直的，同时，也可以认为它和函数F的等值面正交。等值面可以这么理解，首先我们熟悉的是F(x)=0,我们改变右边的值，相当于不改变形状的情况下进行图形变换，考虑一个圆，改变右边的值相当于对这个圆做缩放。如果说一个映射是光滑的，那么在一个点的小邻域内，它的性质和它的微分基本一样。切平面方程是一个很重要的方程，对于一个曲面F,它的切平面方程就是上面写的这个。换成对应的(x-x0)之类即可，就得到第一种显式的切平面方程，这里的显式指z=f(x,y)是一个显式方程。
多元微积分续（曲线积分和曲面积分）
yxriyin的专栏
01-25 1629
这里要注意，3--->5的时候，因为换元，所以积分上下限要自己换好。同理，如果把v.n直接看成一个数量，那么其实就是第一类曲面积分，第二类曲面积分的特殊性就在于被积函数是两个矢量的点乘。老师的解释是：第二类曲线积分是特殊的第一类曲线积分，它的被积函数是两个矢量的点乘。这里，简明微积分里面有个非常精彩的证明，参数曲面的第二种曲面积分计算方法。它的行列式和我们推到出的结果实际上是不一样的，这个要等数学分析里面解答。但这里的叉乘是三维空间的，我们按照三重矢量积的叉乘公式。就是这个点在曲线上的单位切矢量。
单变量微积分重点（2）
yxriyin的专栏
12-04 1226
泰勒公式 用柯西定理证明拉格朗日余项麦克劳林展开式： 皮亚诺余项的泰勒公式： 弧长的微分 注意s'(t)需要在后面证明（定积分的知识）不定积分：注意，不同的积分方法经常会得到不同的结果，但它们一定只相差一个常数定积分： 可积分的充分条件： 积分中值定理： 微积分基本定理： 注意积分变量和上限变量是不一样的，但都写成x方便。积分变量可以随便换。牛顿-莱布尼兹公式一般变限积分求导 曲线弧长： 在此证明 圆的周长公式： 弧长微分公式： 圆台侧面积问题： 注意，在做近似的时候，需要保证误差必须是变量的高阶
数学分析：流形的线性代数回顾
yxriyin的专栏
07-30 1160
这里我们看到了为什么要引入行列式，是因为一个取坐标的操作的张量积放到斜对称形式的推导里面，会得到一个式子，这个式子就是行列式的公式。Y上的k形式，作用在Y的基上引出的系数b。和对偶映射X上的k形式，作用在X的基上引出的系数a，他们之间的系数关系和基的关系的表达式。我们得到了两组基向量的关系，他们对应的对偶映射的k形式也是具有类似关系的。按照前面的公式，我们可以发现取坐标的外积，最终就是这些坐标分别取出来组成一个矩阵的行列式的值。k形势下的坐标形式，后面的y的一堆的乘积就是坐标，前面是k形式作用在基上的值。
数学分析：外微分
yxriyin的专栏
07-30 943
先回顾下微分的概念，首先我们找到一个道路x，它是关于时间t的函数，然后我们可以得到一个速度，也就是切向量，所有道路的切向量组成了切空间。而微分是切空间的对偶空间，它的基是dx,注意dx1(x)是取x的第一个坐标，所以对于切向量，那么dx1就是取它的第一个坐标。k形式其实可以看成k个1形式的乘积，我们要引入斜对称的k形式，就需要增加一个运算A，而A的运算本质是通过行列式的组织，而这个和外积的运算刚好对应，所以外积可以看成A的一种。因为dx意味着取坐标，取坐标操作对应的行列式的运算是斜对称的形式。
普林斯顿微积分读本篇四：求解多项式的极限问题
yxriyin的专栏
12-18 844
普林斯顿微积分读本篇十四：微积分
yxriyin的专栏
01-06 661
多变量微积分1
yxriyin的专栏
01-01 637
而我们必须放到xy坐标系下的绝对空间中比较，因为f(ui,vi)是直接把x，y换成uv表达式的。知乎上是没有这个高阶无穷小的项的，但我觉得简明微积分里的更加正确，只有加了d的微分才可以舍弃高阶无穷小，而上面这个是等于号，我认为不能舍弃高阶无穷小。就是对于区域D下的面积，和每个微元的函数值的积分，最终形成体积的概念。对于多元微积分来说，下面的分母应该就是自变量改变量的距离，一般我们对距离的定义就是。在换元uv之后，这个标准的矩形会被扭曲掉，面积也会变成新的。这里要注意，混合机对应的就是三阶行列式的值。
单变量微积分重点（1）
yxriyin的专栏
12-03 636
1.单调有界定理若数列递增有上界，则数列收敛（递减同样）2.海涅定理（归结原则）说明：对于任何的属于空心邻域的数列，而且这些数列的极限都是x0. 3.两个重要极限：4.11个重要极限 导数定义的三种形式： 反函数求导法则： 证明： 重点在于因为函数连续，所以有x趋于0的时候有y=0求导链式法则证明： 这里主要是需要补充当u可以为0的时候=0的定义理解下就好，证明我个人不是很感冒。微分，自变量的增量就等于自变量的微分 这里A和x虽然无关，但x是趋于0的对于函数y=xdy = df(x) = dx =
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值