- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 正则化解决过拟合问题
关于正则化，以下引自李航博士《统计学习方法》1.5节关于正则化的一些描述：模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。正则化符合奥卡姆剃刀(Occam's razor)原理
2015-07-24 14:54:51
2070
转载 大数据之简介
要理解大数据这一概念，首先要从”大”入手，”大”是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。大数据特点第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多，如前文提到
2015-07-22 17:38:50
873
转载 大数据处理分析的工具介绍
HadoopHadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Ha
2015-07-22 11:36:47
734
原创 过拟合问题简述
关于过度拟合的概念：给定一个假设空间H，一个假设h∈H，如果存在其他的假设h’∈H，使得在训练样例上h的错误率比h‘小，但在整个实例分布上h’的错误率比h小，那么就说假设h过度拟合训练数据过滤拟合可能的原因：（1）使用过于复杂的模型(dvc 很大)；（2）数据噪音；（3）有限的训练数据。详细解释：1、所使用的模型对数据集来说过于复杂，以至于该模型不能很好地解释这些数据，把很简单的数
2015-07-22 09:51:12
843
原创 分类问题 boosting思想
Boosting思想：Boosting方法不是一种特定的学习方法，而是一种在已有的学习方法基础上进行“投票”的方式。具体说来，它是对已有的若干分类器（可谓同类或者异类，且分类效果不死很好，比较弱）进行加权求和得到最终的分类器。虽然从理论上来说, 任何机器学习方法都可以作为Boosting 方法的弱学习器,在实际中，Boosting的弱规则常采用基于规则的方法。Boosting通过关注弱规则
2015-07-20 17:49:26
2154
转载 分类问题 特征向量的归一化方法
下面介绍几种归一化的方法： 1、线性函数转换，表达式如下： y=(x-MinValue)/(MaxValue-MinValue) 2、对数函数转换，表达式如下： y=log10 (x) 3、反余切函数转换 ，表达式如下： y=arctan(x)*2/PI 4、减去均值，乘以方差： y=(x-means)
2015-07-20 17:34:57
6569
6
原创 libsvm中java.lang.NoSuchFieldException: rand
libsvm中java.lang.NoSuchFieldException: rand
2015-07-18 21:19:53
750
转载 java排列组合算法
一.利用二进制状态法求排列组合，此种方法比较容易懂，但是运行效率不高，小数据排列组合可以使用二.用递归的思想来求排列跟组合，代码量比较大三.利用动态规划的思想求排列和组合下面是求排列
2015-07-13 16:40:45
6533
转载 java错误Comparison method violates its general contract!
今天用到Collections.sort();方法时，提示错误如下：网上查到一个解释：Description: The sorting algorithm used by java.util.Arrays.sort and (indirectly) by java.util.Collections.sort has been replaced. The new sort imp
2015-07-08 16:57:55
889
转载 java垃圾回收机制（二）
4. finalize()方法 在JVM垃圾回收器收集一个对象之前，一般要求程序调用适当的方法释放资源，但在没有明确释放资源的情况下，Java提供了缺省机制来终止该对象心释放资源，这个方法就是finalize（）。它的原型为： protected void finalize() throws Throwable 在finalize()方法返回之后，对象消失，垃圾收集开
2015-07-03 17:27:25
558
转载 java 垃圾回收机制（一）
在C++里，释放内存是手动处理的，要用delete运算符来释放分配的内存。这是流行的说法。确切地说，是应用认为不需要某实体时，就需用delete告诉系统，可以回收这块空间了。这个要求，对编码者来说，是件很麻烦、很难做到的事。而在Java中，当没有对象引用指向原先分配给某个对象的内存时，该内存便成为垃圾。JVM的一个系统级线程会自动释放该内存块。垃圾回收意味着程序不再需要的对象是"无用信息"，这些信
2015-07-03 17:11:38
496
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人