【Spark Summit EU 2016】使用Mobius在.NET平台上构建你的下一个Spark应用

最新推荐文章于 2020-04-23 01:15:28 发布
最新推荐文章于 2020-04-23 01:15:28 发布
阅读量605 收藏
点赞数
分类专栏： BigData 文章标签： SPARK MOBIUS .NET PPT

摘要： 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲，主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。


在演讲中，Kaarthik Sivashanmugam分享了Mobius开发动机，对于相关语言的支持情况以及Mobius与Spark的关系，以及如何部署和运行Mobius应用等相关内容。


453f61aad2c030e9f0b1ea15e328b6d7a2619145

00d671b4d01ee05b7a9bfb432e40680c574e8db5

57592f53b9d788fce18abe76d8a41c81f497bf5e

bacc3dfdd05f5accdd388dd8b35d8381b3f986da

8c522967c5b3f839dc5792934654441ffac0f0e4

9bd2fbf69c977d12d9bdc0a753e12fafc669ab7d

46b92cf5fc8e724ea4029f2d4e0bc82e5c64abb1

3ca9aac3ad06f11b7bbec5109ff41e2c67597cff

87a4dbc6fb8c80d3f764197cc7c811eb46f50f45

a73112dcae7140891c8f12aad0bda43731692aa4

bd1f28aaa147fd79c30d5c37551d08cbfd1d9e0b

be2e2c9f4d8019b87b4c7ebdce18bccd3f70d2f2

0bcbd01bed28f52203d1eb86be20256ea6be11c7

bc2fdfb27e1653132743f6fbd87f514534bd7c7d

8a2ce1a6d1b8b19e58b6fbcfc6c56b9bb1d60383

8d6f0dd56d12fcbe687d283b1cbeef71ad167a9a

ce486d9ac745ca916b83de8e1cd2515b7b80667a

18e68204d2b790be6cf81c6daf6070501344120b

25985f6bba530df47dbbbabfc9c4289084595470

3a46785b8e33c81d7c7698d25640ec5b002d1863

98a03d5f42540dbd39c2cc7f7cce57c4ca41aeea

86c6d7859816191690d80928527f055896e53204

e0af3e2e0bdc2789b7edfd693801820a382fcbce

ed90ba43127daa40f3352c77c275eeb8f3dc4f2b

6b5efc7251464b3287262668ddd9996cf7c42d3b

转载：https://yq.aliyun.com/articles/69510

牛魔皇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mobius, C# 和 F# 语言绑定和 Apache Spark的扩展.zip
10-10
Mobius, C# 和 F# 语言绑定和 Apache Spark的扩展 # Mobius: 用于Spark的C# APIMobius为 Apache Spark 提供了 C# 语言绑定，支持在/F# 等. NET 框架支持的语言中实现Spark驱动程序和数据处理操作。例如 Apache Spark
取代而非补充，Spark Summit2014精彩回顾
02-21
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半：随着1.0版本于5月30日推出，Spark提供了一个稳定的...
【Spark Summit EU 2016】在多核机器上提升Spark性能
weixin_33918114的博客
02-13 163
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Qifan Pu在Spark Summit EU 2016上的演讲，主要介绍了如何在多核机器上提升...
【Spark Summit EU 2016】Spark的性能，过去、现在与未来
weixin_33762321的博客
02-15 197
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Sameer Agarwal在Spark Summit EU 2016上的演讲，他首先从机器的存储...
【Spark Summit EU 2016】一起聊数据：Elsevier的Spark观
weixin_33853794的博客
02-12 114
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Emlyn Whittick在Spark Summit EU上的演讲，他分享了数据的价值与所面临的...
Spark Summit 2019 部分PPT
07-12
spark summit 5月部分PPT。主要是SQL、core相关的。全部接近200个 看不完，只挑了部分感兴趣的下载回来 Analyzing 2TB of Raw Trace Data from a Manufacturing Process A First Use Case of Apache Spark for ...
spark-summit-2018:Spark应用
05-14
spark-summit-2018 Spark应用程序：Spark Summit...展示如何使用Spark结构化流构建统计聚合管道。 提供2018年6月6日在Apache Spark峰会上进行的Deep Dive参考主题演讲。 展示如何对结构化的流应用程序进行单元测试。
Spark summit East 2017全部PPT.part01
03-07
《Spark Summit East 2017全部PPT.part01》是Spark技术爱好者们的一份珍贵资料，它包含了2017年Spark Summit East大会的部分演讲PPT，尽管只是第一部分，但其丰富的学习价值不容忽视。Spark Summit East是全球范围内...
【Spark Summit EU 2016】对于Spark而言，只用Scala就足够了
weixin_34177064的博客
02-13 92
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Dean Wampler在Spark Summit EU上的演讲，主要介绍了Scala在Spark...
Mobius function
10-17
Mobius function
c# 向Spark发送信息
11-15
c# 向Spark发送信息，直接调用即可 可加入项目中，用于向指定spark发送信息
【Spark Summit EU 2016】Sparklint:Spark监控，识别与优化利器
weixin_33834628的博客
02-14 192
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。本讲义出自Simon Whitear在Spark Summit EU 2016上的演讲，主要介绍了用于监控，识...
【Spark Summit EU 2016】经验分享：将SparkR用于生产环境下的数据科学应用中
weixin_33957648的博客
02-13 105
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Heiko Korndorf在Spark Summit EU 2016上的演讲，主要分享了R语言以...
.Net for Spark 实现 WordCount 应用及调试入坑详解
weixin_30845171的博客
06-29 244
.Net for Spark 实现WordCount应用及调试入坑详解 1. 概述 iNeuOS云端操作系统现在具备物联网、视图业务建模、机器学习的功能，但是缺少一个计算平台产品。最近在调研使用什么语言进行开发，并且研究实现的技术路线。iNeuOS全系使用C#/JS/CSS/PYTHON开发，所以优先选择C#实现计算平台的开发，当然也不排除使用scala和python...
回顾Spark Summit East 2016：Spark 2.0概览、PPT集锦
zhong930的博客
02-26 426
近日，在“A Look Back at Spark Summit East 2016: Thank you NYC!”一文中， Databrciks对前些时间刚结束的Spark Summit East 2016进行了回顾。其中包括Spark Summit现状以及3天会议的全部亮点，而值得一提的是，今年5月份，由Databricks支持，CSDN主办的Spark Summit 中国也将拉开帷幕，敬请...
Mobius 一个运行在 .NET Core 上的 .NET 运行时
lindexi
04-23 675
一个 .NET 应用仅仅只是一块在 .NET 运行时上面运行的二进制代码。而 .NET 运行时只是一个能执行这项任务的程序。当前的 .NET Framework 和 .NET Core 运行时采用 C++ 编写，而 Mobius 是一个使用 C# 重写的 .NET 运行时，重写包括 JIT 编译和 GC 等，这些逻辑都将和 C++ 无关 原文：Mobius – .NET runtime ru...
[翻译]用.NET平台的Spark扩展包Mobius来开发Apache Spark应用
mzyqyyjpx的专栏
01-24 2214
最近一个大数据项目中，用到数据挖掘，我一直用C#开发的，还不会JAVA，试图用C#进行SPARK开发，发现网上有这个微软的Mobius项目，但中文资料很少。也许是我还没查到吧。就花几个小时翻译一下。后面有必要的话，还继续翻译相关内容。 第一次翻译，不对不好的地方，请各位担待一些。出于严谨性，保留了英文。 =============================================
.net for spark笔记1
qq461548977的博客
12-10 428
微软在5月发布了.net for spark版本，让.net大军可以加入大数据分析阵容。由于资料是少之又少，百度了下，基本上没有，也是从零开始，只能自己瞎倒腾，所以自己留下点笔记吧。 HelloSpark。 安装运行环境很简单，百度官网，按照步骤安装即可。 https://docs.microsoft.com/zh-cn/dotnet/spark/tutorials/get-started ...
使用Mobius在.NET中构建Apache Spark作业
Kaarthik Sivashanmugam在SPARK SUMMIT 2017上探讨了如何使用Mobius在.NET环境中构建Apache Spark作业，重点在于利用.NET框架为Apache Spark开发应用，并复用已有的.NET库。 Apache Spark是一个流行的分布式计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值