![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
文章平均质量分 87
启功
这个作者很懒,什么都没留下…
展开
-
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(2)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。2.基于IDEA使用Spark API转载 2015-01-16 14:03:29 · 1710 阅读 · 0 评论 -
孙其功陪你学之——Spark 正则化和SparkSQL
本博文程序是读取hadoop的hdfs中的文件,使用正则化解析出规定格式的数据,然后加载到sparkSQL数据库中。正则化如果不太了解,请看正则表达式30分钟入门教程package com.spark.firstAppimport org.apache.spark.SparkContextimport org.apache.spark._import org.apache.lo原创 2015-04-16 14:42:18 · 4141 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。但是是java 语言的,于是我按照例程用Scala写了一个,分享在此。由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。测试数据1234567原创 2015-03-18 17:38:00 · 2119 阅读 · 0 评论 -
孙其功陪你学之——spark----搜狗日志文件深入实战
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍Join操作深入实战。动手实战操作搜狗日志文件本节中所用到的内容是来自搜狗实验室,网址为转载 2015-01-16 14:08:23 · 2241 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(3)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:05:12 · 1512 阅读 · 0 评论 -
孙其功陪你学之——Spark 中 map 与 flatMap 的区别
通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一:将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本:步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三:查看map函数的转载 2015-01-16 13:50:01 · 2546 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(1)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:01:03 · 1546 阅读 · 0 评论