spark杂记：Spark Basics

最新推荐文章于 2020-09-13 19:20:48 发布
最新推荐文章于 2020-09-13 19:20:48 发布
阅读量2.6k 收藏
点赞数
分类专栏： spark学习 文章标签： spark Spark Basics
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014365862/article/details/87825398
版权
spark学习 专栏收录该内容
24 篇文章 89 订阅 ¥39.90 ¥99.00
订阅专栏
本文是Spark学习笔记，介绍了如何在Mac上安装pyspark，并讲解了Spark的基础知识，包括SparkContext的创建、RDD的概念及操作如parallelize、collect、map和reduce。还探讨了reduce操作的性质以及何时不应使用collect。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
MachineLP
关注
专栏目录
订阅专栏
spark杂记：Spark Basics 2：Chaining，counting，transformations
MachineLP的专栏
03-21 267
Spark 学习笔记可以follow这里：https://github.com/MachineLP/Spark- Chaining We canchaintransformations and aaction to create a computationpipeline Suppose we want to compute the sum of the squares: whe...
深入浅出spark-第二章（RDD算子）
大锤
10-08 5941
1. RDD是什么 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. Dataset: 就是一个集合，存储很多数据. Distributed：它内部的元素进行了分布式存储，方便于后期进行分布式计算. Resilient： 表示弹性，rdd的数据是可以保存在内存或者是磁盘中. 2. RDD的五大属性 （1）A list of partition
Spark, Shark, and RDDs
朝着梦想 渐行前进
04-24 7162
Spark and Shark are interesting alternatives to MapReduce and Hive. At a high level: Rather than persisting data to disk after every step, as MapReduce does, Spark instead writes to something calle
Spark Streaming：初步了解
Mojoooo-jie
10-25 944
问题导读： 1.什么是Spark Streaming？ 2.Spark Streaming可以接受那些数据源？ 3.Dstream，我们可以进行哪两种操作？ 参考：Spark：一个高效的分布式计算系统 在看spark Streaming，我们需要首先知道什么是Spark streaming？ Spark streaming: 构建在Spark上处理Stream数据的框架，基
spark学习笔记：spark踩坑记
MachineLP的专栏
09-18 266
spark系列： 1.spark杂记：Spark Basics 2.spark杂记：Execution plans, Lazy Evaluation, and caching 3.spark杂记：Spark Basics 2：Chaining，counting，transformations 4.spark杂记：Word Count 5.spark杂记：Operation...
spark 官网首页
热门推荐
zhaoxiaoba123的博客
09-13 6万+
简单的spark概述： 原文： Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools
Spark学习三：RDD介绍及编程
patrick_big_data的博客
02-25 1169
Overview（总览） Spark提供的主要抽象就是弹性分布式数据集 - - RDD(resilient distributed dataset)，它是跨集群节点的分区元素的集合(RDD是有分区的)，是可以并行操作的。 RDD的创建有两种方式：(一)从Hadoop文件系统(或任何其他Hadoop支持的文件系统)的文件读取创建 (二)从driver program的已存在的scala集合中创建并转...
Spark官网补缺
weixin_44273391的博客
12-04 517
Spark官网补缺(2.3.4) RDD SparkSql 文章目录Spark官网补缺(2.3.4) RDD SparkSql1.RDD1.1文件格式1.2 shell操作1.3 惰性加载1.4 缓存（持久化）1.5shuffle有排序吗？ sorted blocks.1.6调优策略之序列化1.7调优策略之内存调优1.8调优的其他配置2.Spark Sql2.1.1全局临时视图2.2.1spark...
Spark Streaming详解
赵英超的博客
06-05 1599
Spark Streaming编程指南OverviewSpark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源，使用简单的api函数比如 map, reduce, join, window等操作，还可以直接使用内置的机器学习算法、图算法包来处理数据。 它...
udemy_pyspark_basics：PySpark课程的Udemy Spark和Python用于大数据-讲师Jose Portilla
02-22
24_Spark_DataFrame_Basics.ipynb 26_Spark_DataFrame_Basic_Operations.ipynb 27_Spark_DataFrame_GroupBy_and_Aggregate_Functions.ipynb 28_Spark_DataFrame_Missing_Data.ipynb 29_Spark_DataFrame_Dates_...
Git:Basics
03-04
"SomeGitoperatinglogforrookie,hopeusefultoyou:-)"--------------------------------------------------------------------------------jesse123@BJSCWL1802~/1_gitAddNode$...
pyspark-ml学习笔记：pyspark下使用xgboost进行分布式训练
MachineLP的专栏
08-13 8688
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，而xgboost是不可或缺的模型，但是pyspark ml中没有对应的API，这时候我们需要想办法解决它。 还可以参考：https://github.com/MachineLP/Spark-/tree/master/pyspark-xgboost 测试代码： （(pyspark使用可以参考这个：https://blog....
scala-sparkML学习笔记：xgboost进行分布式训练
MachineLP的专栏
08-29 3890
java／scala生成jar一般采用有两种sbt和maven，本人介绍通过maven生成jar的方式，同时可以查看git：https://github.com/MachineLP/Spark-/tree/master/scala-xgboost。 xgboostSparkMLlibPipeline.scala代码如下：（注意运行时要按照特征目录格式组织：src/main/scala/ml/d...
pyspark-ml学习笔记：逻辑回归、GBDT、xgboost参数介绍
MachineLP的专栏
08-13 3372
逻辑回归、GBDT可以参考pyspark开发文档：http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.LogisticRegression。 xgboost查看：https://xgboost.ai。 下面只列出分类是的参数介绍：（对于回归时的自行查看） 逻辑回归...
pyspark-ml学习笔记：模型评估
MachineLP的专栏
08-21 2977
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，那么肯定需要对模型进行评估，而pyspark本身自带模型评估的api很少，想进行扩展的话有几种方案： （1）使用udf自行编写代码进行扩展。 （2）使用现有的，像sklearn中的api。（不同框架的之间的切换往往需要转换数据结构） 例子如下所示： ''' 模型评估模块： · pyspark api · sklearn...
scala-sparkML学习笔记：struct type tinyint size int indices array int values array double type
MachineLP的专栏
10-29 2399
错误类型： CSV data source does not support struct<type:tinyint,size:int,indices:array<int>,values:array<double>> data type. predictPredict.select("user_id", "probability", "label")...
pyspark-ml学习笔记：一些比较不错的资料
MachineLP的专栏
08-13 1557
子雨大数据之Spark入门教程(Python版): http://dblab.xmu.edu.cn/blog/1709-2/ 子雨大数据之Spark入门教程（Scala版）: http://dblab.xmu.edu.cn/blog/spark/ https://blog.csdn.net/FlySky1991 PySpark pandas udf: https://www.imooc...
pyspark-ml学习笔记：如何在pyspark ml管道中添加自己的函数作为custom stage?
MachineLP的专栏
08-13 1457
问题是这样的，有时候spark ml pipeline中的函数不够用，或者是我们自己定义的一些数据预处理的函数，这时候应该怎么扩展呢？ 扩展后保持和pipeline相同的节奏，可以保存加载然后transform。 经过搜索有答案了，问题：How to add my own function as a custom stage in a ML pyspark Pipeline? 可以参考： （...
C Programming Basics: A Tutorial Introduction
"这是一本C程序设计的英文第二版，适合C语言初学者入门学习。书中涵盖了C语言的基础知识，包括变量、算术表达式、循环语句、符号常量、字符输入输出、数组、函数及其参数传递、字符数组、外部变量与作用域等内容。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MachineLP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值