![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
牛魔皇
c++,C#,ASP.NET,oracle,mysql,大数据及可视化,数据挖掘
展开
-
[翻译]用.NET平台的Spark扩展包Mobius来开发Apache Spark应用
最近一个大数据项目中,用到数据挖掘,我一直用C#开发的,还不会JAVA,试图用C#进行SPARK开发,发现网上有这个微软的Mobius项目,但中文资料很少。也许是我还没查到吧。就花几个小时翻译一下。后面有必要的话,还继续翻译相关内容。 第一次翻译,不对不好的地方,请各位担待一些。出于严谨性,保留了英文。 =============================================翻译 2018-01-24 00:54:10 · 2214 阅读 · 3 评论 -
【Spark Summit EU 2016】使用Mobius在.NET平台上构建你的下一个Spark应用
摘要: 本讲义出自Kaarthik Sivashanmugam在Spark Summit EU上的演讲,主要介绍了微软公司的用于在.NET平台上构建Spark应用的C#的API——Mobius。 更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.转载 2018-01-24 08:50:05 · 606 阅读 · 0 评论 -
Spark中ml和mllib的区别
Spark中ml和mllib的主要区别和联系如下: ml和mllib都是Spark中的机器学习库,目前常用的机器学习功能2个库都能满足需求。spark官方推荐使用ml, 因为ml功能更全面更灵活,未来会主要支持ml,mllib很有可能会被废弃(据说可能是在spark3.0中deprecated)。ml主要操作的是DataFrame, 而mllib操作的是RDD,也就是说二者面向的数据集不一样转载 2018-01-24 20:56:55 · 5795 阅读 · 0 评论 -
Windows平台kafka单机环境的搭建
本文参考了https://blog.csdn.net/u010054969/article/details/70241478,今天搭建windows 单机版的kafka平台成功,准备用于开发环境 在安装zookeeper前,请确认java环境已经正确安装和配置JAVA_HOME环境变量。否则无法启动zookeeper和kafka的。 1.安装Zookeeper Kafka的运行依赖于Zook...原创 2018-08-06 14:59:53 · 2808 阅读 · 1 评论