spark
_飞奔的蜗牛_
关注图像处理/机器视觉/机器学习/大数据 等领域
学海无涯,与时俱进。
展开
-
spark之MLlib机器学习-线性回归
此篇博文根据《Spark MLlib机器学习》实例程序编写,可作为熟悉scala和mllib编写机器学习算法的一种实践。 1、准备测试数据 可从作者博客自行下载。代码及数据下载地址 2、编写scala源码 为了进一步熟悉scala编程语言,建议自己把代码敲一次。//import org.apache.log4j{ Level, Logger }import org.apac原创 2017-03-19 23:32:06 · 948 阅读 · 0 评论 -
Spark之训练分类模型练习(1)
()本博文为 spark机器学习 第5章学习笔记。 所用数据下载地址为:实验数据集train.tsv各列的数据意义为: “url” “urlid” “boilerplate” “alchemy_category” “alchemy_category_score” “avglinksize” “commonlinkratio_1” “commonli原创 2017-03-25 16:13:25 · 4604 阅读 · 0 评论 -
Spark之训练分类模型练习(2)
上接博文。1 改进模型及参数调优1.1 数值特征标准化使用RowMatrix类计算列的统计量。每一行为某一样本的特征向量import org.apache.spark.mllib.linalg.distributed.RowMatrixval vectors = data.map(lp => lp.features)val matrix = new RowMatrix(vectors)val原创 2017-03-28 23:15:24 · 1745 阅读 · 0 评论 -
spark2.0+hadoop2.7.1简单部署
保证hadoop已经正常部署,以下为spark部署做个小笔记: 1、安装scala-2.11.8.tgz 1)tar -xvzf scala-2.11.8 mv scala-2.11.8 /usr 2)配置环境变量,在/etc/profile 中添加如下语句: export SCALA_HOME=/usr/scala-2.11.8原创 2017-03-11 23:33:58 · 1713 阅读 · 0 评论 -
Spark之python版机器学习算法--ipython notebook配置及测试
先说明一下我的环境配置: 操作系统:ubuntu14.04 64bit spark2.0.0 hadoop 2.7.1 scala-2.11.8 python 2.7.6 java1.7.01. 安装 ipython notebook安装步骤:1安装pip工具sudo apt-get install python-pip2 安装ipythonsudo apt-ge原创 2017-03-21 23:09:53 · 1830 阅读 · 0 评论 -
spark上使用scala及python编程练习
官网Quick Start介绍了如何使用spark进行分布式计算.本博文以此为蓝本,利用scala和python两种语言简单实践了一下实验内容,有利于增进认识。实现的功能为统计README.md文件下字符a和字符b分别有多少个。scala版本计算安装 sbt SBT(Simple Build Tool)是一个现代构建工具。它是用Scala编写的,并且针对Scala也提供了很多方便快捷的功能原创 2017-03-14 01:04:57 · 2453 阅读 · 0 评论 -
spark之MLlib机器学习-Kmeans
1、构建SBT项目环境 mkdir -p ~/kmeans/src/main/scala 2、编写kmeans.sbtname := "Kmeans Project"version := "1.0"scalaVersion := "2.11.8"libraryDependencies ++=Seq( "org.apache.spark" %% "spark-core" % "2.原创 2017-03-16 00:22:15 · 1286 阅读 · 0 评论