![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 87
启功
这个作者很懒,什么都没留下…
展开
-
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(2)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。2.基于IDEA使用Spark API转载 2015-01-16 14:03:29 · 1710 阅读 · 0 评论 -
孙其功陪你学之——Spark 正则化和SparkSQL
本博文程序是读取hadoop的hdfs中的文件,使用正则化解析出规定格式的数据,然后加载到sparkSQL数据库中。正则化如果不太了解,请看正则表达式30分钟入门教程package com.spark.firstAppimport org.apache.spark.SparkContextimport org.apache.spark._import org.apache.lo原创 2015-04-16 14:42:18 · 4141 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。但是是java 语言的,于是我按照例程用Scala写了一个,分享在此。由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。测试数据1234567原创 2015-03-18 17:38:00 · 2119 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之线性回归
转自 程序员的自我修养 – SelfUp.cn由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。本文不涉及线性回归具体算法和原理性的东西,纯新手向、介绍性的文章。线性回归线性回归,对于初学者而言(比方说我)比较难理解,其实换个叫法可能就能立马知道线性回归是做什么的了:线性拟合。所谓拟合,就简单多了,如下图所示:线性拟合,顾名转载 2015-03-18 10:41:58 · 1223 阅读 · 0 评论 -
孙其功陪你学之——spark----搜狗日志文件深入实战
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍Join操作深入实战。动手实战操作搜狗日志文件本节中所用到的内容是来自搜狗实验室,网址为转载 2015-01-16 14:08:23 · 2241 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之K-Means聚类算法
转自 程序员的自我修养 – SelfUp.cn由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。聚类算法聚类,Cluster analysis,有时也被翻译为簇类,其核心任务是:将一组目标object划分为若干个簇,每个簇之间的object尽可能的相似,簇与簇之间的object尽可能的相异。聚类算法是机器学习(或者说是数据挖掘更转载 2015-03-18 10:44:44 · 1278 阅读 · 0 评论 -
孙其功陪你学之——Spark MLlib之协同过滤
转自 程序员的自我修养 – SelfUp.cn由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。1,220次浏览什么是协同过滤协同过滤(Collaborative Filtering, 简称CF),wiki上的定义是:简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯,个人透过合作的机制给予资讯相当程度的转载 2015-03-18 10:50:47 · 1222 阅读 · 0 评论 -
孙其功陪你学之——Spark 中 map 与 flatMap 的区别
通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一:将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本:步骤二:在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三:查看map函数的转载 2015-01-16 13:50:01 · 2546 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(1)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:01:03 · 1546 阅读 · 0 评论 -
孙其功陪你学之——基于IDEA使用Spark API开放Spark程序(3)
《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作;使用Spark的cache机制观察一下效率的提升构建Spark的IDE开发环境;通过Spark的IDE搭建Spark开发环境;测试Spark IDE开发环境等等。本节为大家介绍基于IDEA使用Spark API开放Spark程序。基于IDEA使用Spark API开放转载 2015-01-16 14:05:12 · 1512 阅读 · 0 评论