spark杂记：Spark Basics

最新推荐文章于 2020-10-08 20:05:54 发布
最新推荐文章于 2020-10-08 20:05:54 发布
阅读量2.6k 收藏
点赞数
分类专栏： spark学习 文章标签： spark Spark Basics
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014365862/article/details/87825398
版权
spark学习 专栏收录该内容
24 篇文章 89 订阅 ¥39.90 ¥99.00
订阅专栏
本文是Spark学习笔记，介绍了如何在Mac上安装pyspark，并讲解了Spark的基础知识，包括SparkContext的创建、RDD的概念及操作如parallelize、collect、map和reduce。还探讨了reduce操作的性质以及何时不应使用collect。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文
MachineLP
关注
专栏目录
订阅专栏
spark杂记：Spark Basics 2：Chaining，counting，transformations
MachineLP的专栏
03-21 267
Spark 学习笔记可以follow这里：https://github.com/MachineLP/Spark- Chaining We canchaintransformations and aaction to create a computationpipeline Suppose we want to compute the sum of the squares: whe...
Git:Basics
03-04
"SomeGitoperatinglogforrookie,hopeusefultoyou:-)"--------------------------------------------------------------------------------jesse123@BJSCWL1802~/1_gitAddNode$...
深入浅出spark-第二章（RDD算子）
大锤
10-08 5941
1. RDD是什么 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. Dataset: 就是一个集合，存储很多数据. Distributed：它内部的元素进行了分布式存储，方便于后期进行分布式计算. Resilient： 表示弹性，rdd的数据是可以保存在内存或者是磁盘中. 2. RDD的五大属性 （1）A list of partition
Spark, Shark, and RDDs
朝着梦想 渐行前进
04-24 7162
Spark and Shark are interesting alternatives to MapReduce and Hive. At a high level: Rather than persisting data to disk after every step, as MapReduce does, Spark instead writes to something calle
Spark_for_Python
03-09
This section covers the basics of PySpark, including how to create and manipulate Resilient Distributed Datasets (RDDs), DataFrames, and Datasets. **3. Setting Up the Development Environment** The ...
LEARN SPARK IN A DAY
06-12
LEARN SPARK IN A DAY The Ultimate Crash Course to Learning the Basics of Spark in No Time
Spark GraphX in Action
11-03
- **GraphX Basics**：第四章重点介绍了GraphX的基本功能，如图的创建、转换和查询等。 - **Built-in Algorithms**：第五章详细阐述了GraphX提供的一系列内置算法，包括但不限于PageRank、Triangle Counting等。这些...
pyspark-ml学习笔记：pyspark下使用xgboost进行分布式训练
MachineLP的专栏
08-13 8688
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，而xgboost是不可或缺的模型，但是pyspark ml中没有对应的API，这时候我们需要想办法解决它。 还可以参考：https://github.com/MachineLP/Spark-/tree/master/pyspark-xgboost 测试代码： （(pyspark使用可以参考这个：https://blog....
scala-sparkML学习笔记：xgboost进行分布式训练
MachineLP的专栏
08-29 3890
java／scala生成jar一般采用有两种sbt和maven，本人介绍通过maven生成jar的方式，同时可以查看git：https://github.com/MachineLP/Spark-/tree/master/scala-xgboost。 xgboostSparkMLlibPipeline.scala代码如下：（注意运行时要按照特征目录格式组织：src/main/scala/ml/d...
pyspark-ml学习笔记：逻辑回归、GBDT、xgboost参数介绍
MachineLP的专栏
08-13 3372
逻辑回归、GBDT可以参考pyspark开发文档：http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.LogisticRegression。 xgboost查看：https://xgboost.ai。 下面只列出分类是的参数介绍：（对于回归时的自行查看） 逻辑回归...
pyspark-ml学习笔记：模型评估
MachineLP的专栏
08-21 2977
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，那么肯定需要对模型进行评估，而pyspark本身自带模型评估的api很少，想进行扩展的话有几种方案： （1）使用udf自行编写代码进行扩展。 （2）使用现有的，像sklearn中的api。（不同框架的之间的切换往往需要转换数据结构） 例子如下所示： ''' 模型评估模块： · pyspark api · sklearn...
scala-sparkML学习笔记：struct type tinyint size int indices array int values array double type
MachineLP的专栏
10-29 2397
错误类型： CSV data source does not support struct<type:tinyint,size:int,indices:array<int>,values:array<double>> data type. predictPredict.select("user_id", "probability", "label")...
pyspark-ml学习笔记：一些比较不错的资料
MachineLP的专栏
08-13 1557
子雨大数据之Spark入门教程(Python版): http://dblab.xmu.edu.cn/blog/1709-2/ 子雨大数据之Spark入门教程（Scala版）: http://dblab.xmu.edu.cn/blog/spark/ https://blog.csdn.net/FlySky1991 PySpark pandas udf: https://www.imooc...
pyspark-ml学习笔记：如何在pyspark ml管道中添加自己的函数作为custom stage?
MachineLP的专栏
08-13 1457
问题是这样的，有时候spark ml pipeline中的函数不够用，或者是我们自己定义的一些数据预处理的函数，这时候应该怎么扩展呢？ 扩展后保持和pipeline相同的节奏，可以保存加载然后transform。 经过搜索有答案了，问题：How to add my own function as a custom stage in a ML pyspark Pipeline? 可以参考： （...
scala-sparkML学习笔记：scala解析json文件
MachineLP的专栏
08-30 1378
在搭建一些工程项目时，往往需要有配置文件，而配置文件很多是基于json格式组织的。 这里可直接看代码： import scala.util.parsing.json.JSON._ import scala.io.Source object XMLHelloWorld { def main(args: Array[String]): Unit = { def regJson...
pyspark-ml学习笔记：LogisticRegression
MachineLP的专栏
07-19 1375
具体查看下面代码及其注释： 数据可以查看github：https://github.com/MachineLP/Spark-/tree/master/pyspark-ml import os import sys #下面这些目录都是你自己机器的Spark安装目录和Java安装目录 os.environ['SPARK_HOME'] = "/Users/***/spark-2.4.3-b...
scala-sparkML学习笔记：模型评估
MachineLP的专栏
08-29 1253
scala-sparkML中模型评估标准比较全面， 基本不用像pyspark-ml学习笔记：模型评估使用其他方法。 // 二分类下的模型评估。 // Precision by threshold val precision = metrics.precisionByThreshold precision.foreach { case (t, p) => println(s"Thres...
scala-sparkML学习笔记：Execption in thread "main" java.lang.AbstractMethodError: ml.dmlc.xgboost4j.scala
MachineLP的专栏
08-29 779
在通过： spark-2.4.3-bin-hadoop2.7/bin/spark-submit --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.j...
C Programming Basics: A Tutorial Introduction
"这是一本C程序设计的英文第二版，适合C语言初学者入门学习。书中涵盖了C语言的基础知识，包括变量、算术表达式、循环语句、符号常量、字符输入输出、数组、函数及其参数传递、字符数组、外部变量与作用域等内容。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MachineLP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值