- 博客(12)
- 收藏
- 关注
RSS订阅原创 Spark之训练分类模型练习（2）
上接博文。1 改进模型及参数调优1.1 数值特征标准化使用RowMatrix类计算列的统计量。每一行为某一样本的特征向量import org.apache.spark.mllib.linalg.distributed.RowMatrixval vectors = data.map(lp => lp.features)val matrix = new RowMatrix(vectors)val
2017-03-28 23:15:24
1760
原创 Spark之训练分类模型练习（1）
（）本博文为 spark机器学习 第5章学习笔记。 所用数据下载地址为：实验数据集train.tsv各列的数据意义为： “url” “urlid” “boilerplate” “alchemy_category” “alchemy_category_score” “avglinksize” “commonlinkratio_1” “commonli
2017-03-25 16:13:25
4635
原创 Spark之python版机器学习算法--ipython notebook配置及测试
先说明一下我的环境配置： 操作系统：ubuntu14.04 64bit spark2.0.0 hadoop 2.7.1 scala-2.11.8 python 2.7.6 java1.7.01. 安装 ipython notebook安装步骤：1安装pip工具sudo apt-get install python-pip2 安装ipythonsudo apt-ge
2017-03-21 23:09:53
1849
原创 spark之MLlib机器学习-线性回归
此篇博文根据《Spark MLlib机器学习》实例程序编写，可作为熟悉scala和mllib编写机器学习算法的一种实践。 1、准备测试数据 可从作者博客自行下载。代码及数据下载地址 2、编写scala源码 为了进一步熟悉scala编程语言，建议自己把代码敲一次。//import org.apache.log4j{ Level, Logger }import org.apac
2017-03-19 23:32:06
965
原创 spark之MLlib机器学习-Kmeans
1、构建SBT项目环境 mkdir -p ~/kmeans/src/main/scala 2、编写kmeans.sbtname := "Kmeans Project"version := "1.0"scalaVersion := "2.11.8"libraryDependencies ++=Seq( "org.apache.spark" %% "spark-core" % "2.
2017-03-16 00:22:15
1293
原创 spark上使用scala及python编程练习
官网Quick Start介绍了如何使用spark进行分布式计算.本博文以此为蓝本，利用scala和python两种语言简单实践了一下实验内容，有利于增进认识。实现的功能为统计README.md文件下字符a和字符b分别有多少个。scala版本计算安装 sbt SBT(Simple Build Tool)是一个现代构建工具。它是用Scala编写的，并且针对Scala也提供了很多方便快捷的功能
2017-03-14 01:04:57
2466
原创 hadoop数据上传hdfs出错
could only be replicated to 0 nodes, instead of 1 错误 出现此问题，首先用 jps 命令查看，datanode没有正常工作。 解决方法： 1)stop-all.sh 2)在node1从节点中，删除保存 data 数据的目录，如/usr/hadoop/dfs/data 目录里面的数据 3) start-all.
2017-03-12 22:58:36
863
原创 spark2.0+hadoop2.7.1简单部署
保证hadoop已经正常部署，以下为spark部署做个小笔记： 1、安装scala-2.11.8.tgz 1)tar -xvzf scala-2.11.8 mv scala-2.11.8 /usr 2)配置环境变量,在/etc/profile 中添加如下语句： export SCALA_HOME=/usr/scala-2.11.8
2017-03-11 23:33:58
1728
原创 HDFS 常用shell命令
fs( File System)shell 命令格式： bin/hadoop fs [ cmd]当使用HDFS(Distributed File System)，等价使用如下命令格式 bin/hdfs dfs [ cmd ]1 hdfs dfs -appendToFile < localsrc > … < dst>可同时上传多个文件到HDFS里面2 hdfs dfs -cat URI [
2017-03-04 00:01:19
679
原创 hadoop（2.7.1）配置过程问题
formate 出错ERROR namenode.NameNode: Failed to start namenode. java.io.IOException: Cannot create directory /usr/hadoop/dfs/name/current at org.apache.hadoop.hdfs.server.common.Storage$StorageD
2017-03-02 21:04:34
738
原创 配置hadoop环境
前期看了许多大数据的资料，现在开始搭建hadoop平台。 主要完成在vbox中实现两个节点的分布式环境搭建（三个节点怕本儿带不起来）。 1、添加两个虚拟机，其中一个作为master节点，另外一个作为node1. 2、创建hadoop用户和用户组 3、安装SSH,配置/etc/hostname 和 /etc/hosts 4、配置免密码登陆 5、安装JDK及环境配置
2017-03-01 22:39:50
222
原创 单应性及透视变换
1 单应性（Homography）为了实现逆透视变换，首先要先理解单应性。 平面上某点PP，在世界坐标系下和图像坐标系下的坐标分别表示为MM和mm，则： sm˜=A[R,t]M˜s\widetilde{m}=A[R,t]\widetilde{M} 其中，ss为尺度因子，AA为内参矩阵，R,tR,t统称为外参矩阵，将其展开如下： s⎡⎣⎢uv1⎤⎦⎥=A[r1r2r3t]⎡⎣⎢⎢⎢XYZ1
2017-03-01 16:08:25
4448
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人