【学习笔记】Spark

已于 2022-03-13 17:57:11 修改
阅读量2.4k 收藏
点赞数
分类专栏： 学习记录 文章标签： spark 学习 hadoop
于 2022-03-11 20:50:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31478771/article/details/123412016
版权

概念

spark是基于内存的计算引擎，计算速度非常快，仅仅只涉及到数据的计算，没有涉及到数据的存储。

MapReduce的局限性

  • Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据
  • 任务调度和启动开销大
  • 无法充分利用内存
  • 不适合迭代计算（如机器学习、图计算等）、交互式处理（数据挖掘）
  • 不适合流式处理（点击日志分析）
  • MapReduce的编程不够灵活，仅支持Map和Reduce两种操作

Spark特点

  • 速度快，job的中间结果可以不落地，可以存放在内存中，job以线程方式运行在进程中
  • 易用性，可以通过java/scala/python/R开发spark应用程序
  • 通用性，可以使用spark sql/spark streaming/mlib/Graphx
  • 兼容性，spark程序可以运行在standalone/yarn/mesos

spark-submit

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。

spark-submit \
--class org.apache.spark.examples.Spark \  	#  应用程序的主类
--master yarn \							    #  master 的地址，提交任务到哪里执行
--queue Adhoc \								#  队列名
--conf spark.submit.deployMode=cluster \    #  在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
--conf spark.driver.memory=4g \				#  Driver内存，默认 1G
--conf spark.executor.memory=4g \			#  每个 executor 的内存，默认是1G
--conf spark.executor.cores=4 \				#  每个 executor 的核数
--conf spark.sql.shuffle.partitions=2400 \    
--conf spark.executor.instances=400 \
--conf spark.yarn.maxAppAttempts=1 \
hdfs://examples/target/scala-2.11/jars/spark-examples.jar \  # 含有应用的jar包地址
--is-left-parquet "false" \    				#  程序参数
Hung武
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark学习笔记 Spark学习笔记 Spark学习笔记
08-07
Spark 学习笔记 Spark 是一个基于内存的分布式计算框架，它提供了高效、灵活、可扩展的数据处理解决方案。Spark 的核心组件是 Resilient Distributed Dataset (RDD)，它是一个弹性的分布式数据集合，提供了高效的...
Spark学习笔记Spark Streaming的使用
08-25
Spark Streaming 使用指南 Spark Streaming 是一个基于 Spark Core 之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理。在 Spark Streaming 中，有一个最基本的抽象叫 DStream（代理），本质上就是一...
Hive和Spark到底是什么？两者又有什么区别？
奇迹虎虎的博客
02-13 8599
Hive和Spark到底是什么？spark是一个计算引擎，而hive是一个存储框架。
spark学习笔记一
01-20
一.spark与hadoop比较 Spark是一个计算框架相当于Hadoop的MapReduce。Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的...
Spark学习笔记
11-06
spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 ...
【学习笔记】人体姿态识别
码海畅游记录
10-18 8506
概念 人体姿态识别（Pose Estimation）是检测图像或者视频中人体关键点的位置、构建人体骨架图的过程。利用人体姿态信息可以进一步进行动作识别、人机信息交互、异常行为检测等任务。然而，人的肢体比较灵活，姿态特征在视觉上变化比较大，并且容易受到视角和服饰变化的影响。 2D人体姿态识别 自底向上算法 自底向上算法也称为 part-based 方法，它首先检测出图像或视频中人体的关键点，然后对不同关键点进行匹配，将属于一个人的关键点连接起来。这类方法的识别速度不会受图像或视频中人数的影响，并能有较小的模型
【学习笔记】自动化机器学习
码海畅游记录
10-17 7662
概念 自动化机器学习要解决的问题是，针对特定的一类或若干类机器学习任务，在没有人类专家干预且计算资源有限的条件下，自动化地构造机器学习算法流程。机器学习算法流程包括根据数据建立算法模型、算法效果评估、不断优化算法效果等。 研究方向包括：自动化特征提取、自动化模型选择、自动化模型参数调优、自动化模型结构搜索、自动化模型评估、元学习、迁移学习等。 自动化调优 机器学习模型的选择和超参数的指定统称为机器学习模型的配置。对于一个给定的机器学习问题和一个数据集，我们可以配置一个具体的机器学习模型，然后在这个数据集上训
【学习笔记】经典目标检测算法
码海畅游记录
12-26 6087
定义 目标检测任务的目标是找到图像中的所有感兴趣区域，并确定这些区域的位置和类别。目标检测领域的深度学习方法主要分为两大类：两阶段式（Two-stage）目标检测算法和单阶段式（One-stage）目标检测算法。前者是先由算法生成一系列候选边界框作为样本，然后再通过卷积神经网络分类这些样本，也被称为基于区域的方法，例如R-CNN、Fast R-CNN、Faster R-CNN、R-FCN等；后者则是直接将目标边界定位问题转换成回归问题，图像会被缩放到同一尺寸，并以网格形式均等划分，模型仅需处理图像一次就能
【学习笔记】经典语义分割模型
码海畅游记录
12-25 5025
Image Segmentation定义FCNU-NetSegNetRefineNetPSPNetDeepLabFastFCN性能测试损失函数Focal LossDice Loss 定义 图像分割将图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型：语义分割和实例分割。在语义分割中，所有相同类型的对象都使用一个类标签进行标记，而在实例分割中，相似的对象使用各自的标签。 FCN 《Fully Convolutional Networks for Semantic Segmentation》 20
【学习笔记】Hive
码海畅游记录
03-09 2929
Hive Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 HQL 数据定义语言DDL DDL是SQL语言集中对数据库内部的对象结构进行创建、删除和修改等操作语言，数据库对象包括database、table等。DDL的核心语法有CREATE、DROP和ALTER所组成。DDL不涉及表内部数据操作。 建库操作 CREATE DATABASE 数据库名 [COMMENT 注解] [LOCATI
【学习笔记】深度学习视频处理
码海畅游记录
10-22 2620
视频处理 视频是由一系列图像按时间序列组成的，既包含了图像的空域信息，也包含了其独有的时域信息。视频处理的范围很广，涵盖了视频从诞生到展示的整个端到端的流程，包括视频采集、视频转码、视频存储、视频传输、视频分发、视频播放等。 视频编解码 视频编解码的主要任务是既要实现较大的压缩比，又要保证一定的视频质量。目前主流的编解码标准包括H.264（AVC）、H.265（HEVC）、VP9、AVI等。各个标准在具体算法的实现上有很大不同，但整体架构均采用了基于块的混合视频编码框架。 帧内预测 帧内预测编码是指利用视
【学习笔记】无监督行人重识别
码海畅游记录
01-09 2368
BUC 《A Bottom-up Clustering Approach to Unsupervised Person Re-identification》2019 AAAI BUC是一种自底向上聚类方法（bottom-up clustering）来联合优化CNN和无标签样本间的关系。最开始把每张行人图像作为单独的一类，来最大化每类的diversity，然后逐渐把相似的类合并为同一类，来提升每类的similarity。 图像xxx的属于簇ccc的概率p(c∣x,V)=exp(VcTv/τ)∑j=1Cexp
【学习笔记】Shell
码海畅游记录
03-13 2122
Shell是一个命令解释器，它接收应用程序/用户命令，然后调用操作系统内核。 脚本以 #!/bin/bash 开头来指定解析器 执行脚本 bash test.sh 或 sh test.sh，本质是bash解析器帮助执行脚本，脚本本身不需要执行 通过 ./test.sh 进行脚本执行，本质是脚本需要自己执行，需要执行权限 Linux 命令 命令 作用 touch 修改文件或者目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。 cd 切换当前工作目录
【学习笔记】Hadoop
码海畅游记录
03-10 1980
概念 Hadoop是一个分布式系统基础架构，可扩展大量集群进行分布式计算和分布式存储。 优点是 高可靠性：数据存储时数据块多副本存储，数据计算时某个节点崩溃可以自动重新调度作业计算 高扩展性：可以横向线性扩展机器，一个集群中可以有数以千计的节点，集群可以用廉价机器，成本低 Hadoop生态成熟 组件 HDFS HDFS（Hadoop Distributed File System）是分布式文件系统，具有扩展性、容错性和海量数据存储。HDFS将数据切分成指定大小的数据块进行存储，数据存储会冗余保存（多副本
【学习笔记】einsum函数
码海畅游记录
12-17 1830
einsum全称Einstein summation convention（爱因斯坦求和约定），又称为爱因斯坦标记法。einsum的写法省去了求和符号，显得更加简洁。 常规 einsum c=∑iaibic=\sum_ia_ib_ic=∑i​ai​bi​ c=aibic=a_ib_ic=ai​bi​ cj=∑jAijbjc_j=\sum_jA_{ij}b_jcj​=∑j​Aij​bj​ cj=Aijbjc_j=A_{ij}b_jcj​=Aij​bj​ cklmn=∑i∑jaijklb
【学习笔记】TensorFlow1.0
码海畅游记录
03-08 1716
TensorFlow程序被组织成一个构建阶段和一个执行阶段。 在构建阶段，数据和操作的执行步骤被描述成一个图。图是将计算表示为指令之间的依赖关系的一种表示法。 在执行阶段，使用会话执行构造好的图中的操作。会话是跨一个或多个本地或远程设备运行数据流图的机制。 数据表示为Tensor，图中的数学操作表示为节点op 基础语法 默认图：默认会创建一张图，可通过tf.get_default_graph()访问，创建的Tensor、op和session都含有graph属性，默认都在一张图中。 a = tf.co
【计算机网络】应用层
码海畅游记录
10-05 1388
域名系统DNS 动态主机配置协议DHCP 文件传输协议FTP 远程终端协议TELNET 远程桌面RDP 万维网WWW 电子邮件SMTP、POP3、IMAP
【学习笔记】图像标注
码海畅游记录
10-18 1282
概述 图像标注（Image Captioning）将一张图片翻译为一段描述性文字，需要机器用模型去理解图片的内容，还要用自然语言去表达这些内容并生成人类可读的句子。 评价指标 由于现实中对每一种图的标注结果进行人工评判的成本很高，所以研究者提出了一些自动评价图像标注效果的方法。 BLEU（Bilingual Evaluation Understudy） BLEU主要用来评估机器翻译和专业人工翻译之间的相似度。后来该指标被引入到图像标注任务中，用来评估机器生成的文本同人工注释之间的相似度。相似度的度量是基于N
【学习笔记】神经网络的计算量和参数量估计
码海畅游记录
02-19 1207
评估计算量指标 每秒浮点操作次数FLOPS（FLoating point OPerations per Second），来衡量GPU的运算能力。 乘加数MACC（Multiply-ACCumulate operation），或者叫MADD，来衡量模型的计算量。 模型最终的的速度，不仅仅是和计算量多少有关系，还和诸如内存带宽、优化程度、CPU流水线、Cache之类的因素也有很大关系。 全连接层计算量和参数量估计 对于输入为III，输出为JJJ的全连接层，其权重WWW存储在I×JI \times JI×J的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值