![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 84
Shadow_mi
数据挖掘、机器学习
展开
-
机器学习中几种常见优化方法总结
1、梯度下降法假设f(x)是具有一阶连续偏导数的函数。要求解的无约束最优化问题是:梯度下降法是一种迭代算法,选取适当的初值x(0),不断迭代更新x的值,进行目标函数的极小化,直到收敛。由于负梯度方向是使得函数值下降最快的方向,所以在迭代的每一步,以负梯度方向更新x的值,从而达到减少函数值的目的。f(x)具有一阶连续偏导数,若第k次迭代值为x(k),则可将f(x)在x(k)附近进行一阶泰转载 2016-07-12 17:22:33 · 3432 阅读 · 0 评论 -
聚类分析中几种算法的比较
将数据库中的对象进行聚类是聚类分析的基本操作,其准则是使属于同一类的个体间距离尽可能小,而不同类个体间距离尽可能大,为了找到效率高、通用性强的聚 类方法人们从不同角度提出了近百种聚类方法,典型的有K-means方法、K-medoids方法、CLARANS方法,BIRCH方法等,这些算法适用 于特定的问题及用户。本文综合提出了评价聚类算法好坏的5个标准,基于这5个标准,对数据挖掘中常用聚类方转载 2016-11-03 16:48:48 · 6330 阅读 · 0 评论 -
训练神经网络的五大算法
神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多,它们的特点和性能各不相同。问题的抽象人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说,损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度,而正则项则是控制模型的复杂程度,防止出现过拟合现象。损失函数的函数值由模型的参数(权重值和偏置值)所决定。我们可转载 2016-10-27 11:10:09 · 946 阅读 · 0 评论 -
特征工程分析
1 特征工程是什么? 有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据预处理,特征选择,降维等。首次接触到sklearn,通常会被其丰富且方原创 2016-10-27 11:20:50 · 972 阅读 · 0 评论 -
工程师的五个等级--《硅谷之谜》读书笔记
工程师的五个等级第五等工程师:能够独立设计和实现一项功能的人。第四等工程师:具备产品头脑,具备产品设计方面的基本知识,具备一定的领导才能,能够在整个产品的生命周期从头到尾将一个产品负责到底。第三等工程师:可以做出行业里最好的产品。对客户心理了解,组织能力突出,悟性好。需要潜心五到八年才能达到。第二等工程师:能够给世界带来惊喜的人。例如第一台使用化个人电脑的沃兹尼亚克。第一等原创 2016-10-27 16:05:35 · 914 阅读 · 0 评论 -
tensorflow 学习笔记1
1、tf.ones(shape,type=tf.float32,name=None) tf.ones([2, 3], int32) ==> [[1, 1, 1], [1, 1, 1]]2、tf.zeros(shape,type=tf.float32,name=None) tf.zeros([2, 3], int32) ==> [[0, 0, 0], [0, 0,转载 2016-11-19 20:13:03 · 714 阅读 · 0 评论 -
神经网络中常用的激活函数
1.非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。但是,如果激活函数是恒等激活函数的时候(即f(x)=x),就不满足这个性质了,而且如果MLP使用的是恒等激活函数,那么其实整个网络跟单层神经网络是等价的。 2.可微性: 当优化方法是基于梯度的时候,这个性质是必须的。 3.单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数。 f(x)≈x: 当激活函数原创 2016-11-19 20:31:39 · 1110 阅读 · 0 评论 -
常用的几个误差参数
SSE(和方差、误差平方和):The sum of squares due to error MSE(均方差、方差):Mean squared error RMSE(均方根、标准差):Root mean squared error R-square(确定系数):Coefficient of determination Adjusted R-square:Degree-of-freedom a原创 2016-11-19 20:43:52 · 2860 阅读 · 0 评论 -
数据挖掘、机器学习领域有哪些知名的期刊或会议?
机器学习常见会议和期刊如下:机器学习领域会议:COLT、NIPS、ICML、AISTATS、UAI机器学习领域期刊:JMLR、PAMI、ML机器学习的工作也常常发表在人工智能相关会议上,比如:人工智能会议:IJCAI、AAAI人工智能期刊:AI除了机器学习和人工智能的会议,CV和NLP方面也有大量机器学习相关的工作,因此不少与机器学习相关的工作也会发在CV和原创 2016-11-23 14:26:43 · 5086 阅读 · 0 评论 -
scala 函数闭包
闭包是一个函数,返回值依赖于声明在函数外部的一个或多个变量。原创 2016-09-06 15:31:17 · 405 阅读 · 0 评论 -
白话scala系列五 匿名函数分析
匿名函数在函数式编程中经常用到,语法轻量,使用灵活。不带参数的匿名函数var noparam = () => { println("hello world unit") println("hello unit")}var func0 = new Function0[Unit]{ def apply():Unit={ println("hello world原创 2016-09-06 14:25:28 · 598 阅读 · 0 评论 -
雅克比矩阵的scala实现
在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中。 矩阵的特征值和特征向量是线性代数以及矩阵论中非常重要的一个概念。在遥感领域也是经常用到,比如多光谱以及高光谱图像的主成分分析要求解波段间协方差矩阵或者相关系数矩阵的特征值和特征向量。 根据普通线性代数中的原创 2016-07-04 20:25:27 · 873 阅读 · 0 评论 -
梯度下降算法、随机梯度下降算法scala实现
梯度下降和随机梯度下降是机器学习中最常用的算法之一。关于其具体的原理这里不多做介绍,网络上可以很方便的找到。例如可以参考博客:http://blog.csdn.net/woxincd/article/details/7040944 scala代码实现如下:object SGD{ /*X:输入变量 y:输入结果 learnRate:学习步长原创 2016-07-04 20:33:14 · 815 阅读 · 0 评论 -
感知器的scala实现
其实感知器学习算法,就是利用第一节介绍的单层感知器。首先利用给的正确数据,计算得到输出值,将输出值和正确的值相比,由此来调整每一个输出端上的权值。 公式便是用来调整权值,首先 是一个“学习参数”,一般我将它设置成小于1的正数。T便是训练数据中的正确结果, 便是第i个输入端的输入值,便是第i个输入端上面的权值。 关于感知器的scala代码实现如下:object Perceptron{ va原创 2016-07-04 20:41:31 · 492 阅读 · 0 评论 -
感知器的scala实现
其实感知器学习算法,就是利用第一节介绍的单层感知器。首先利用给的正确数据,计算得到输出值,将输出值和正确的值相比,由此来调整每一个输出端上的权值。 公式便是用来调整权值,首先 是一个“学习参数”,一般我将它设置成小于1的正数。T便是训练数据中的正确结果, 便是第i个输入端的输入值,便是第i个输入端上面的权值。 关于感知器的scala代码实现如下:object Perceptron{ va原创 2016-07-04 20:41:40 · 485 阅读 · 0 评论 -
机器学习最佳入门学习资源
原文链接:http://suanfazu.com/t/ji-qi-xue-xi-zui-jia-ru-men-xue-xi-zi-yuan/210 如果你是一个真正的初学者,并且乐意于开始了解机器学习领域的相关知识,你可以在我的文章中找到有用的资料。我的建议是,从中挑出一件来,一本书或者是一个库,反复阅读或者认真学习所有的相关教程。挑出一个并且坚持学习,直到你完全掌握,再重新选择一个,重复这个学习原创 2016-07-05 10:31:30 · 2575 阅读 · 0 评论 -
机器学习的学习路径
一、为什么是列出一堆可以探索的书,而不是要去寻找一条路 机器学习的研究和应用已经有很长的时间了。随着人类的发展,数据和计算能力都在不断的增加,因此机器学习这几年变得异常火热,很多公司开始部署相关的部门。 常常在各种途径看到和多人问问题,有没有什么好的入门书籍或者资料;也看到一旦有前辈推荐一些好的学习材料的时候,很多人都在积极的下载和学习;机器学习相关的讲座也非常的火热。从2013年年初,我也开始转载 2016-07-05 15:58:05 · 4151 阅读 · 0 评论 -
Kaggle 手写识别题
原文链接:http://blog.csdn.net/wiking__acm/article/details/43491611 手写体数字的识别,一个比较简单的问题。主要是特征太多,所以用PCA降维处理,然后用knn就可以得到一个准确率相当不错的结果了。ipython notebook 下根据测试数据生成数字图案的代码:%pylab import pandas as pd img = pd.r转载 2016-07-08 11:32:36 · 468 阅读 · 0 评论 -
Xms Xmx PermSize MaxPermSize 区别
1.参数的含义 -vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M -vmargs 说明后面是VM的参数,所以后面的其实都是JVM的参数了 -Xms128m JVM初始分配的堆内存 -Xmx512m JVM最大允许分配的堆内存,按需分配 -XX:PermSize=64M JVM初始分配的非堆内存 -XX:MaxP转载 2016-09-18 17:00:07 · 553 阅读 · 0 评论 -
决策树的python实现
from math import logimport operatorclass ClassTree: def __init__(self): pass def calcShanonEnt(self,dataSet): lenDataSet = len(dataSet) labelCounts = {} for feat原创 2016-11-24 20:17:56 · 698 阅读 · 0 评论