- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅
转载 机器学习里必备的五种回归损失函数
所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程。我们常常将最小化的函数称为损失函数，它主要用于衡量模型的预测能力。在寻找最小值的过程中，我们最常用的方法是梯度下降法，这种方法很像从山顶下降到山谷最低点的过程。虽然损失函数描述了模型的优劣为我们提供了优化的方向，但却不存在一个放之四海皆准的损失函数。损失函数的选取依赖于参数的数量、局外点、机器学习算法、梯度下降的效率、导数求...
2018-11-29 19:21:07
8636
转载 奇异值分解(SVD)原理详解及推导
在网上看到有很多文章介绍SVD的，讲的也都不错，但是感觉还是有需要补充的，特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章，叫A Singularly Valuable Decomposition The SVD of a Matrix，觉得分析的特别好，把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。 SVD不仅是一个数学问题，在工程应...
2018-11-28 19:24:44
192
原创 矩阵分解
前面我们在矩阵分解 (加法篇)里面分析的加法下的矩阵分解。 这里我们来看看乘法下矩阵分解的要点。对角和三角矩阵首先， 我们总结下， 在矩阵加法分解中出现了三种矩阵：上三角矩阵， 下三角矩阵 和 对角阵。 这三种矩阵在乘法的分解中也会遇到。那么是不是乘法矩阵中有这三种矩阵就够了呢？ 不是的！正交矩阵还有一种经典的矩阵， 叫正交矩阵, 什么叫正交矩阵呢？其实某种意义上， 郑正...
2018-11-28 19:10:19
416
原创 正则表达式总结
http://www.icoolxue.com/album/show/237普通字符：字母、汉子、数字、下划线、没有特殊意义的标点和符号表达式中的普通字符在匹配一个字符串的时候，匹配与之相同的一个字符转义字符：第一类：\n \t \第二类：^ $ . ( ) { } ? + * | [ ]标准字符集合：\d: 0-9任意一个数字，只匹配一个字符\w: 任意一个字母、汉子...
2018-11-27 17:37:01
164
原创 简单算法之多项式回归
```import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionfrom sklearn.preprocessing import PolynomialFeaturesdf_train=pd.read_exc...
2018-11-23 14:46:05
522
原创 前向神经网络的矩阵表示
前向神经网络的矩阵表示：Pf(Wxi)=oiPf(Wx_i)=o_iPf(Wxi)=oiPf(WX)=OPf(WX)=OPf(WX)=O其中1.X为输入集合，xix_ixi为一条记录2.O为输出集合，oio_ioi为一条输出2.W为第一层权重，P为隐藏层权重3.f(x)为激活函数...
2018-11-23 12:00:59
531
原创 超限学习机(ExtremeLearningMachine,ELM)
超限学习机import numpy as npimport matplotlib.pyplot as pltx_num=100w_num=16x=np.linspace(-20,20,x_num)y=np.sin(x)/xw = np.random.rand(w_num, 2) - 0.5def train(x,y,w): N = np.size(x, axis=0) ...
2018-11-23 11:12:46
1058
转载 特征值分解和奇异值分解
一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值。特征值分解是将一个矩阵分解成下面的...
2018-11-22 17:34:59
1590
原创 PCA
1、特征值与特征向量的意义解释矩阵乘法其实是对应着一个线性变换，是把任意一个向量变成另一个方向或者长度的新向量。在这个变换中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，而不对这些向量产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。特征向量与特征值对于一个矩阵的意义，每一个特征向量都对应着这个矩阵在对另一个对象作线性变换时所产生变换的...
2018-11-22 15:56:10
198
转载 矩阵分解
前面我们在矩阵分解 (加法篇)里面分析的加法下的矩阵分解。 这里我们来看看乘法下矩阵分解的要点。对角和三角矩阵首先， 我们总结下， 在矩阵加法分解中出现了三种矩阵：上三角矩阵， 下三角矩阵 和 对角阵。 这三种矩阵在乘法的分解中也会遇到。那么是不是乘法矩阵中有这三种矩阵就够了呢？ 不是的！正交矩阵还有一种经典的矩阵， 叫正交矩阵, 什么叫正交矩阵呢？其实某种意义上， 郑正...
2018-11-22 15:07:48
859
原创 矩阵分解
矩阵An∗nA_{n*n}An∗n为方阵（若不为方阵，则以下概念无意义）：非奇异矩阵⇔An∗n\Leftrightarrow A_{n*n}⇔An∗n是奇异矩阵⇔An∗n\Leftrightarrow A_{n*n}⇔An∗n可逆⇔∣An∗n∣≠0\Leftrightarrow|A_{n*n}|≠0⇔∣An∗n∤=0⇔rank(An∗n)=n\Leftrightarrow ...
2018-11-22 15:02:28
110
原创 线性相关与线性无关的定义与性质
定义1 线性相关：KnKnK_nK_nKnKn中向量组α1,α2,...,αs(s≥1)α_1,α_2,...,α_s(s\ge1)α1,α2,...,αs(s≥1)称为是线性相关的,如果KKK中有不全为0的k1,k2,...,ksk_1,k_2,...,k_sk1,k2,...,ks使得k1α1+k2α2+...+ksαs=0k_1α_1+k_2α_2+...+k_sα_s=0...
2018-11-21 15:20:55
34050
3
原创 回归预测算法比较
GBDT和时间序列分析的区别：GBDT算法做预测分析时考虑到一些影响目标值的因素，而时间序列主要考虑到数据在时序上的一些规律，忽略了其他因素对目标值的影响。这两种算法在实际应用中刚好互补。如果原始数据中包含足够的数据特征，通常情况下使用GBDT回归做预测分析效果会比时间序列更好。如果原始数据缺乏特征信息，使用时间序列进行预测反而很好。...
2018-11-20 14:03:21
3073
转载 screen命令
screen命令常用工具命令Screen是一款由GNU计划开发的用于命令行终端切换的自由软件。用户可以通过该软件同时连接多个本地或远程的命令行会话，并在其间自由切换。GNU Screen可以看作是窗口管理器的命令行界面版本。它提供了统一的管理多个会话的界面和相应的功能。会话恢复只要Screen本身没有终止，在其内部运行的会话都可以恢复。这一点对于远程登录的用户特别有用——即使网络连...
2018-11-15 20:08:39
151
原创 离线安装安装python36和pip3、Tensorflow
先查看以下两篇博客：腾讯云安装python36和pip3、Tensorflowyum下载安装包但不安装上面介绍了在线安装python36和pip3、Tensorflow的方法，离线安装时的方法类似在线安装,但得记录yum和pip包的依赖和记录。总纲本文分两条路线走，第一条是通过在线安装下载需要的yum包和pip包，记录yum依赖和pip依赖，第二条路线是离线安装下载好的yum包（pyth...
2018-11-13 16:32:16
2389
原创 爬虫编码问题
每次写爬虫都会遇到编码问题，所以总结一下常见的编码问题字符集编码（gbk,gb2312,win1252）gzip, deflate编码html编码url编码上面是常见的编码问题，下面给出在nodejs中的解决方法字符集编码：var data = Buffer.concat(chunks, size);data=iconv.decode(data,'gbk')decoded...
2018-11-11 23:54:17
222
原创 nodeJS项目创建
项目创建来用命令创建一个nodejs项目通过idea或者pycharm之类的创建项目的过程中有很多坑安装node.js插件创建nodes.js项目设置项目配置（除了项目名称和路径外其他的按默认走）正常情况下会报错Error creating Node.js Express App. Cannot find C:\Users\MVGOS\AppData\Local\Temp\int...
2018-11-11 12:52:54
7121
转载 使用PyCharm进行远程开发和调试
使用PyCharm进行远程开发和调试你是否经常要在Windows 7或MAC OS X上面开发Python或Web应用程序，但是它们最后需要在linux上面来运行呢？ 我们经常会碰到开发时没有问题但是到了正式的Linux环境下面却出现问题。那么怎样保证开发环境跟运行环境的一致呢？通常有两种方法解决。一种是使用PyCharm内置支持的Vagrant，这个教程可以参考Vagrant开发环境配置...
2018-11-09 15:20:56
202
原创 腾讯云安装python36和pip3、Tensorflow
安装python3依赖下载Python3源码包安装编译安装Python3设置python软连接设置pip软连接安装Tensorflow
2018-11-09 13:54:46
756
原创 TensorFlow内存溢出问题
在运行tensorflow训练rnn时，有多个文件夹，每个文件夹下的文件训练成一个模型，这样将会形成多个模型。但在运行了一晚上之后发现内存很高，CPU利用率很低，感觉是内存溢出。首先想到的是python垃圾回收问题，但调用了gc.collect()之后任然有问题；后来感觉是session没关闭，但使用的是with session，不会出现这个问题；之后网上说是应为循环中创建了计算节点问题，我...
2018-11-08 21:09:30
2691
1
原创 yum下载安装包但不安装
centos下执行yum install xxx后,系统会从yum源下载rpm，将rpm放置到缓存目录下：/var/cache/yum/默认是： /var/cache/yum也可以在 /etc/yum.conf 指定cachedir=/var/cache/yum #存放目录keepcache=1 ＃1为保存 0为不保存metadata_expire=1800 ＃过期时间说明：...
2018-11-07 11:15:25
2735
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人