spark源码学习

Spark上手指南 https://dounm.github.io/2016/09/28/spark-tutorial/   spark源码官网 https://github.com/apache/spark/tree/master/mllib spark/mllib/src/main/s...

2018-01-13 19:00:04

阅读数 265

评论数 0

mac安装Scala,spark, xgboost for python

spark安装参考 http://www.voidcn.com/article/p-vryenhcn-zn.html spark 安装参考 http://blog.csdn.net/lv836735240/article/details/52901819 下载Scala 解压修改...

2018-01-13 10:24:24

阅读数 383

评论数 0

Scala LR训练参数

参考 http://blog.csdn.net/liulingyuan6/article/details/53419717 参数: elasticNetParam: 类型:双精度型。 含义:弹性网络混合参数,范围[0,1]。 featuresCol: 类型:字符...

2018-01-03 08:04:45

阅读数 215

评论数 0

spark源码学习

Spark上手指南 https://dounm.github.io/2016/09/28/spark-tutorial/   spark源码官网 https://github.com/apache/spark/tree/master/mllib spark/mllib/src/main/scal...

2017-11-24 09:46:28

阅读数 192

评论数 0

核逻辑回归优化

http://shomy.top/2017/03/07/kernel-lr/

2017-11-06 16:16:25

阅读数 154

评论数 0

imbalance data分类解决办法

http://blog.csdn.net/u011414200/article/details/50664266 http://www.tk4479.net/a358463121/article/details/52304670 1.随机过采样 2.under sampling欠采样 ...

2017-11-03 16:07:26

阅读数 1342

评论数 0

intellij日志信息修改,隐藏INFO,只显示ERROR

要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。 1、在项目src路径下创建resources文件夹, 右击该文件Mark Directory as 选中Resources Root 2、将spa...

2017-11-01 09:33:29

阅读数 3761

评论数 1

Scala实现逻辑回归分类,Titanic

1.读取文件 import scala.io.Source object myfirst { //titanic,LR def main(args: Array[String]) { val data= Source.fromFile("D:\\IDEA\\_01\\tr...

2017-10-31 14:49:39

阅读数 450

评论数 0

机器学习学习--Kaggle Titanic--LR,GBDT,bagging

参考,机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾  http://www.cnblogs.com/zhizhan/p/5238908.html 一、认识数据 1.把csv文件读入成dataframe各式 import pandas as pd import numpy as np ...

2017-10-19 21:06:45

阅读数 754

评论数 0

spark,keyValue对RDDs

keyValue对RDDs 创建keyValue对RDDs: 使用map()函数,返回key/value对 例如,包含数行数据的RDD,每行数据的第一个单词作为keys,整行作为value val rdd=sc.textFile("/home/hellospark.txt&quo...

2017-10-18 20:39:39

阅读数 198

评论数 0

RDDs的特性

RDDs的特性 血统关系图 Spark维护这RDDs之间的依赖关系和创建关系,叫做血统关系图 spark使用血统关系图计算每个RDD的需求和恢复丢失的数据 代表着RDD是怎么获得的,而且又做了什么操作 作用:丢失时可以找回 延迟计算: spark对RDDs的计算是他们第一次使...

2017-10-18 20:19:03

阅读数 295

评论数 0

Rdds基本操作Action

Rdds基本操作Action action,在RDD上计算出一个结果 把结果返回给driver program或保存在文件系统,count(), save reduce() 接受一个函数,作用在RDD两个类型相同的元素上返回一个新元素 实现元素累加,计数,和其他类型的聚集操作 ...

2017-10-18 19:39:07

阅读数 162

评论数 0

Rdds基本操作Transformation,逐元素,map,filter,flatMap,集合运算

Rdds基本操作Transformation 转换,从之前的RDD构建一个新的RDD,map操作 逐元素map,接受一个函数,应用在RDD每一个元素,并返回一个新的RDD val lines = sc.parallelize(Array("hello","spark&...

2017-10-18 19:20:50

阅读数 152

评论数 0

spark Rdds介绍

Driver program: 包含main方法,RDDs定义和操作 管理很多节点,executors SparkContext:  Driver program通过spark context对象访问spark, 代表和一个集群的连接,在shell中自动创建好,就是sc RDDs, 弹性分...

2017-10-18 15:59:05

阅读数 168

评论数 0

spark下载安装和第一个Wordcount程序

Java环境搭建 JDK1.7下载,百度网盘 Scala下载安装 2.10.0 spark下载  1.6.2 IDEA下载安装 Scala插件下载 https://plugins.jetbrains.com/plugin/1347-scala

2017-10-18 14:52:13

阅读数 233

评论数 0

TensorFlow安装

TensorFlow安装 http://blog.csdn.net/xunan003/article/details/66979181

2017-09-24 11:03:00

阅读数 145

评论数 0

python

http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy https://pypi.python.org/pypi/setuptools#downloads

2017-09-12 14:56:11

阅读数 198

评论数 0

初学机器学习的方法及框架了解

程序员初学机器学习的四种方式 【机器学习实验】scikit-learn的主要模块和基本使用 28款GitHub最流行的开源机器学习项目

2017-08-16 09:59:44

阅读数 290

评论数 0

机器学习算法工程师在做什么?

http://blog.csdn.net/shixiangyun2/article/details/51543593 机器学习算法工程师在做什么? 机器学习不仅仅是模型 产生这个问题的原因就是所有人都以为机器学习的模型就是机器学习本身,以为对那些个算法理解了就是机器学习的大牛了,但实际上...

2017-08-14 11:28:21

阅读数 428

评论数 0

机器学习项目开发实战,应用

图像分类----分类 1模型---构建一个数字识别系统 2验证 3改进模型 垃圾邮件识别-----贝叶斯 类型提供程序的快乐 自行车与人-----梯度下降 你不是独一无二的雪花------聚类 1发现数...

2017-07-08 14:11:07

阅读数 1936

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭