tianyaleixiaowu的专栏

世界上有10种人,一种懂2进制,一种不懂2进制

排序:
默认
按更新时间
按访问量

神经网络的激活函数总结

转载自:https://my.oschina.net/amui/blog/1633904激活函数的意义(需要激活函数的理由)激活函数是神经网络的一个重要组成部分。如果不用激活函数(即相当于激活函数为f(x)=x),在这种情况下,网络的每一层的输入都是上一层的线性输出,因此,无论该神经网络有多少层,...

2018-06-22 16:19:07

阅读数:170

评论数:0

4 机器学习入门——分类和最近邻

前面学过了简单的回归和决策树,当然仅仅是使用起来简单。实际上,线性回归和决策树是很多其他算法的基础,很多高级的算法都是基于它们的组合或者变种。下面我们来看一个另外的东西,叫分类。基于回归和决策树,我们能通过给定的数据来预测一些未知结果的数据,模型能给我们输出一个可供参考的结果值。但有些时候这些数据...

2018-06-17 17:24:26

阅读数:206

评论数:0

逻辑回归,决策树,支持向量机 选择方案

转载自:https://blog.csdn.net/oliverkehl/article/details/50129999这一篇讲的非常形象,直接转载了。逻辑回归 vs 决策树 vs 支持向量机原文 part1 原文 part2分类是我们在工业界经常遇到的场景,本文探讨了3种常用的分类器,逻辑回归...

2018-06-15 19:42:38

阅读数:126

评论数:1

3 机器学习入门——决策树之天气预报、鸢尾花

前面我们简单学习了线性回归、逻辑回归,不知道有没有做一个总结,那就是什么时候该用逻辑回归?从结果来观察,可以看到,线性回归的过程就是在找那个合适的方程,来尽量满足你的每行数据。即Y=ax + bx^2 + …….通过算法来寻找合适的a、b、c。一般来说,线性回归适用于最终结果和各属性之间有数值上的...

2018-06-15 15:55:50

阅读数:156

评论数:1

2 机器学习入门——逻辑回归之kaggle泰坦尼克号竞赛

前面几篇逻辑回归的例子有些是人造出来的,有些是比较正规的,但数据都比较完整,没有缺失的属性。虽然我们在很多数据上取到的非常好的效果,但总感觉好像不够味,不像实战。所有的数据下载地址:https://gitee.com/tianyalei/machine_learning,按对应章节查找。那么这里有...

2018-06-14 20:23:18

阅读数:71

评论数:0

2 机器学习入门——逻辑回归第三课

这一篇我们拿一些实例来看看。所有的数据下载地址:https://gitee.com/tianyalei/machine_learning,按对应章节查找。还是要提醒一句,逻辑回归很简单,很多时候效果可以,但不够优秀,可以作为BaseLine。在选择算法前,可以先观察数据,根据经验推断是否符合线性(...

2018-06-07 19:47:38

阅读数:163

评论数:0

2 机器学习入门——逻辑回归第二课

我们来看看逻辑回归处理样本数据的案例,假如说要分类的样本长这样所有的数据下载地址:https://gitee.com/tianyalei/machine_learning,按对应章节查找。这是一个最简单的二维平台线性关系,数据集是data1.csv。长这个样子:a,b,result 34.6236...

2018-06-07 16:13:56

阅读数:54

评论数:0

2 机器学习入门——逻辑回归第一课

前几篇都是讲线性回归的,特点就是最终的结果是一系列的值。我们通过找到合适的方程去匹配空间中的点的分布,得到合适的模型,然后用模型对未知的数据结果进行预测。二维线性模型就像下面的图,我们需要找到这根蓝色的线的方程。现实生活中,我们还会有另一个常见的问题,就是分类。判断一个物体是大还是小,是高还是低,...

2018-06-07 15:25:26

阅读数:57

评论数:0

1 机器学习入门——线性回归第三课

上一篇我们看到了线性回归在对多个属性建模时,能迅速给出模型预测,但很多时候效果并不太美好。毕竟方法太简单了,而且很多时候已有的属性很难拟合到一起形成比较靠谱的结果。所有的数据下载地址:https://gitee.com/tianyalei/machine_learning,按对应章节查找。再回过头...

2018-06-07 11:10:36

阅读数:69

评论数:0

数据预处理和weka.filters的使用

转载自:https://www.cnblogs.com/htynkn/archive/2012/04/02/weka_3.html上一篇介绍了arff格式,这是weka专有格式,一般情况需要我们从其他数据源抽取或者获得。weka支持从cvs转化,也可以从数据库中抽取,界面如下图weka安装目录有一...

2018-06-06 20:10:56

阅读数:44

评论数:0

1 机器学习入门——线性回归第二课

1 house价格,多属性线性回归2 bank_data,多项式3 红酒预测线性回归可以说是最简单的机器学习入门了,上一篇我们使用了一个最简单的模型,只有一个变量,只有一次方。机器很完美的给出了模型和正确的结论。这一篇我们来看看一些复杂的情况。所有的数据多个变量线性回归人们能立即想到的一个例子就是...

2018-06-06 20:02:47

阅读数:48

评论数:0

Weka中分类器指标的说明

Mean absolute error 和 Root mean squared error: 平均绝对误差,用来衡量分类器预测值和实际结果的差异,越小越好。Relative absolute error 和 Root relative squared error:举个例子来说明:实际值为500,预...

2018-06-06 16:59:54

阅读数:47

评论数:0

1 机器学习入门——线性回归第一课

先来上例子吧,让我们来感受一下什么是机器学习。我们先给出一批数据,它们长这样:x,y1,22,43,64,8……此时,我们希望你能预测一下,当x是1万时,y的值。如果你具备初中以上的数学知识,聪明的你可能已经能给出答案了。是的,结果是2万。至少在这个层面,你已经超越了机器。因为你只需要看几秒,就能...

2018-06-06 11:42:50

阅读数:101

评论数:0

机器学习特征工程——给任意属性增加任意次方的全组合

在机器学习中,我们时常会碰到需要给属性增加字段的情况。譬如有x、y两个属性,当结果倾向于线性时,我们可以很简单的通过线性回归得到模型。但很多时候,线性(在数学上称为多元一次方程),线性是拟合不了结果的。往往,我们就需要在给定的几个属性上,通过增加属性来尝试能否拟合。那么原本只有两列,x、y,我们增...

2018-06-05 14:01:44

阅读数:49

评论数:0

深入理解Java之线程池

转载自:http://www.importnew.com/19011.html#comment-653957在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题:如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大...

2018-05-29 14:19:53

阅读数:96

评论数:0

10 搭建Hadoop单机环境,使用spark操作Hadoop文件

前面几篇主要是sparkRDD相关的基础,也使用过textFile来操作过本机的文档。实际应用中,操作普通文档的机会不多,更多的时候是操作kafka的流和Hadoop上文件。下面我们就在本机搭建一个Hadoop环境。1 安装配置Hadoop首先下载Hadoop的压缩包,http://www.apa...

2018-04-28 10:30:46

阅读数:123

评论数:0

9 spark入门之采样、搜集部分结果sample、takeOrdered

spark提供了对结果集RDD进行随机采样,即获取一小部分数据的功能。其中有sample、takeSample、takeOrdered等方法。import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.Jav...

2018-04-24 14:12:25

阅读数:166

评论数:0

8 spark之基本的Action操作 first, take, collect, count, countByValue, reduce, aggregate, fold,top

转载自:https://blog.csdn.net/t1dmzks/article/details/70667011first返回第一个元素 scalascala> val rdd = sc.parallelize(List(1,2,3,3)) scala&...

2018-04-19 13:59:35

阅读数:69

评论数:0

7 spark入门键值对操作subtractByKey, join, rightOuterJoin, leftOuterJoin

转账自:https://blog.csdn.net/t1dmzks/article/details/70557249subtractByKey函数定义def subtractByKey[W](other: RDD[(K, W)])(implicit arg0: ClassTag[W]): RDD[...

2018-04-19 13:57:00

阅读数:58

评论数:0

6 spark入门键值对操作sortByKey、groupByKey、groupBy、cogroup

SortByKey从名字就能看到,是将Key排序用的。如一个PariRDD-["A":1, "C":4, "B":3, "B":5],按Key排序的话就是...

2018-04-19 10:40:57

阅读数:89

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭