- 博客(15)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 主成分分析PCA
1 PCA简介PCA是常用的无监督降维技术。我们在用多个特征描述对象时，特征之间可能是相关的，这导致了信息冗余。应该存在这样一组特征，使得特征数尽可能少并且丢失的信息尽可能少，PCA就是用于寻找这样一组特征的算法。PCA算法并不是简单地从已有特征中选择一组特征，而是构建一组新特征，并且每个新的特征是原始特征的线性组合，也就是说，对于原始特征空间中的实例x∈Rdx \in \mathbb R^d，其
2017-10-31 09:25:44
2758
原创 Python——提取复数类型的数组的的实数部分和虚数部分
>>> import numpy as np>>> x = np.array([[1+1j, 2+2j], [3+3j, 3+3j]])>>> np.real(x)array([[ 1., 2.],>>> np.imag(x)array([[ 1., 2.], [ 3., 3.]])
2017-10-30 17:32:12
46849
2
原创 西瓜书《机器学习》课后答案——chapter10_10.6 PCA
试使用matlab的PCA函数对Yale人脸数据进行降维，并观察前20个特征向量所对应的图像。Yale人脸数据共包含166张图片，每张图片的大小为320*243。X矩阵的大小为77760*166，占用的内存大小为103M字节（float对象占用24字节，其中真正用于保存值的空间为8字节大小，我们这里暂且用一个float占8字节计算）；协方差矩阵的大小为77760*77760，占用的内存大小为48G字
2017-10-30 15:30:50
5783
2
原创 k-近邻算法
1 k-NN算法k-近邻（k-Nearest Neighbors, k-NN）算法是机器学习中非常简单的一个算法，可以用于分类和回归问题。 其基本思想是，在特征空间中接近的两个实例，其类别/函数值也接近。对实例x，找到训练样本中和其接近的实例，也就是近邻，然后根据近邻的类别/函数值预测实例x的类别/函数值。1.1 训练k-NN算法的训练过程非常简单，仅仅需要把训练数据存储起来。k-NN算法是一种懒
2017-10-27 11:51:35
967
原创 西瓜书《机器学习》课后答案——chapter10 降维与度量学习
10.1 西瓜书《机器学习》课后答案——chapter10 _10.1 KNN算法10.2 令err,err∗分别表示最近邻分类器与贝叶斯最优分类器的期望错误率，试证明： err∗≤err≤err∗(2−|Y||Y|−1×err∗).(1)err^*\leq err\leq err^*\left( 2-\frac{|{\cal Y}|}{|{\cal Y}|-1}\times err^*\righ
2017-10-26 22:10:48
9834
原创 西瓜书《机器学习》课后答案——chapter10 _10.1 KNN算法
编程实现k邻近分类器，在西瓜数据集3.0α上比较其分类边界与决策树分类边界的异同。# -*-coding: gbk -*-"""@Author: Victoria@Date: 2017.10.26 9:00"""import xlrdimport numpy as npimport matplotlib.pyplot as pltimport operatorclass KNN():
2017-10-26 14:19:47
5216
原创 Python——嵌套列表，根据第k维进行排序
假设有嵌套列表[[‘a’, 160], [‘b’, 168]]，每个元素代表一个学生，其中第一维数据表示姓名，第二维数据表示身高。现在希望根据身高对学生进行排序。>>>import operator>>>x = [['a', 160], ['b', 168]]>>>x.sort(key=operator.itemgetter(1), reverse=True)#如果不设置reverse，那么由小
2017-10-26 14:09:59
4424
原创 西瓜书《机器学习》课后答案——chapter9 _9.4
编程实现k均值算法，设置三组不同的k值、三组不同初始中心点，在西瓜数据集4.0上进行实验比较，并讨论什么样的初始中心有助于得到好结果。下面所有图中的横坐标表示密度，纵坐标表示含糖率。首先看看4.0数据集： 代码#-*- coding:utf-8 -*-"""@Author: Victoria@Date: 2017.10.24 12:00"""import randomimport ma
2017-10-24 11:53:39
4527
3
原创 西瓜书《机器学习》课后答案——chapter9
9.1 证明：p≥1p\geq 1时，闵可夫斯基距离满足距离度量的四条基本性质。0≤p<10\leq p < 1时，闵可夫斯基距离只满足非负性、规范性和对称性，不满足三角不等式。当p趋向于无穷大时，闵可夫斯基距离等于对应分量的最大绝对距离，也称为切比雪夫距离： limp→+∞(∑u=1n|xiu−xju|p)1p=maxu|xiu−xju|.\lim_{p\rightarrow +\infty}\
2017-10-24 11:52:30
9250
2
原创 西瓜书《机器学习》课后答案——chapter7_7.3AODE
AODE算法的难点在于存构建存储计数的数据结构，这里采用三层字典表示P(c,xi)P(c,x_i)，五层字典表示P(xj|c,xi)P(x_j|c,x_i)。由于数据集比较小，我们取m=0m=0。另外，对于连续属性，不知道怎么处理，所以这里只考虑离散属性。# -*-coding:gbk -*-"""@Author: Victoria@Date: 2017.10.19 21:30"""imp
2017-10-20 11:08:24
2943
3
原创 线性判别分析（二）——Bayes最优分类器的角度看LDA
在线性判别分析（一）——LDA介绍 一文中，我们介绍了LDA的基本思想、算法，但其实严格来讲博客中介绍的都是FDA。本文我们就来探究一下LDA的真面目。Bayes准则关于贝叶斯最优分类器的介绍请参考周志华的《机器学习》P147。我们这里直接引入概念： 贝叶斯判定准则 为最小化总体风险，只需要在每个样本上选择那个能使条件风险R(c|x)R(c|x)最小的类别标记，即h∗(x)=argminc
2017-10-18 17:27:50
9861
7
原创 西瓜书《机器学习》课后答案——chapter7_7.3
7.3 试编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，对p.151 “测1”样本进行判别。 解答： 朴素贝叶斯的训练过程就是估计类别先验概率以及类条件概率的过程；测试阶段根据训练得到的概率值计算出类别的后验概率并取概率最大的类别作为样本分类。根据数据集3.0得到的拉普拉斯朴素贝叶斯分类器把测试样例预测为正类，即好瓜。代码：# -*- coding:gbk -*-"""
2017-10-17 14:33:33
6719
1
原创 Python标准模块——shutil
shutil.copy(source_path, des_path)：可以把文件拷贝到指定文件夹下。当des_path只是一个目录时，把source_path对应的文件拷贝到des_path目录下；如果des_path是一个文件，那么除了把source_path对应的文件拷贝到des_path文件所在的目录下，还要把源文件重命名为新文件名。
2017-10-16 18:06:58
697
原创 线性判别分析（一）——LDA介绍
1. LDA的基本思想LDA(Linear Discriminant Analysis, 线性判别分析)由Fisher于1936年提出，又称为Fisher线性判别。LDA既可以用于解决分类问题，又可以对数据进行降维处理。 基本思想 将高维的样本数据投影到判别向量空间，以达到抽取分类信息和降低特征维数的效果，投影后保证数据在新的子空间中有最大的类间距离和最小的类内距离，即在该子空间有最佳的可
2017-10-12 11:54:39
3352
1
Estimating the number of clusters in a data set via the gap statistic
2017-10-25
level-set. Osher 1988.
2017-10-18
Comparing LDA and SVM
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人