![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 76
乂乂乂乂
清水河畔一小生
展开
-
西瓜书课后题—第三章(线性模型)
3.3 对率回归问题直接贴代码:import numpy as np#西瓜数据集X = np.mat([[0.697,0.460,1],[0.774,0.376,1],[0.634,0.264,1],[0.608,0.318,1],[0.556,0.215,1], [0.403,0.237,1],[0.481,0.149,1],[0.437,0.211,1],[0.666...原创 2018-12-17 22:20:03 · 4067 阅读 · 3 评论 -
西瓜书课后题——第十二章(计算学习理论)
本章涉及的数学理论知识太多,大多是纯理论的公式推导,所以目前只是大体看了一遍,了解了一些基本的概念和知识,并没有深入地对每一个定理进行证明和推导。所以课后题参考这篇博客:https://blog.csdn.net/icefire_tyh/article/details/52270432日后有机会要用到的话会重新回过头来进行推导学习。...原创 2019-05-21 15:48:03 · 739 阅读 · 0 评论 -
西瓜书课后题——第十章(降维与度量学习) ( KNN、PCA )
此处只记录编程题目10.1和10.6,其余题目请参考:https://blog.csdn.net/icefire_tyh/article/details/5224377310.1 KNN分类理论比较简单,书上也说的比较清晰,所以直接给出代码:import numpy as npimport pandas as pdimport heapqimport matplotlib.p...原创 2019-05-10 18:16:27 · 3164 阅读 · 0 评论 -
西瓜书课后题——第九章(聚类)
本章因为课后题大部分都是证明和解答题,所以不再详细叙述,只是针对 9.4 题给出相关算法的实现。关于证明和简答题可以参考这篇博客:https://blog.csdn.net/icefire_tyh/article/details/522246769.4 k均值聚类实现,并在不同k值和初始向量情况下进行比较。算法完全按照图 9.2 给出的过程进行,数据集采用西瓜数据集4.0.相关...原创 2019-05-02 13:58:24 · 3621 阅读 · 1 评论 -
西瓜书课后题——第十六章(强化学习)
16.1 用于K-摇臂赌博机的UCB方法每次选择Q(k)+UC(k)最大的摇臂,其中Q(k)为摇臂k当前的平均奖赏,UC(k)为置信区间。例如其中n为已执行的总次数,nk为已执行摇臂k的次数。试比较UCB方法与ϵ-贪心法和Softmax方法的异同。相同点:三者都是用于单步强化学习任务的模型,都在尽可能最大化累积奖赏的同时,实现了 探索和利用 之间的权衡。不同点:ϵ-贪心法:基于一...原创 2019-04-20 18:48:09 · 1390 阅读 · 1 评论 -
西瓜书课后题——第八章(集成学习)
8.1 证明式(8.3)公式编辑起来比较麻烦,直接手写拍一个图片给出详细的证明过程。8.2 证明:首先,要知道0/1损失函数的一致替代函数的含义。因为0/1损失非凸、非连续,数学性质不好,为了便于计算求解,人们用一些数学性质比较好的函数来替代0/1损失函数。常用的替代函数有指数函数、对数函数、hinge函数。 可参见西瓜书130页的内容。0/1损失函数原型如下:...原创 2019-03-25 19:29:25 · 8023 阅读 · 3 评论 -
tensorflow中各种优化器解析(SGD、Momentum、Adam等)
请参见这篇博客,分析的很细,而且有原始数学公式。http://www.cnblogs.com/fourmi/p/9938477.html原创 2019-03-07 18:00:45 · 5232 阅读 · 0 评论 -
西瓜书课后题——第七章(贝叶斯分类器)
课后题7.1:极大似然估计西瓜数据集3.0前3个属性的类条件概率。其实就是概率论中常见的极大似然估计问题。参见这篇博客:https://blog.csdn.net/icefire_tyh/article/details/52167273课后题7.3:编程实现拉普拉斯修正的朴素贝叶斯分类器。原理和公式书上均有详细的说明,这里直接给出代码:import numpy as npi...原创 2019-01-08 00:18:24 · 5779 阅读 · 6 评论 -
西瓜书课后题——第六章(支持向量机)
课后题6.2、西瓜数据集3.0a上分别用线性核和高斯核训练一个SVM,并比较支持向量的区别。使用LIBSVM经过训练之后发现,线性核和高斯核所得到的支持向量是一样的。LIBSVM的使用见这篇文章:LIBSVM使用完整代码如下所示:from libsvm.python.svmutil import *import numpy as npA = np.array([[0.697,0....原创 2019-01-02 23:11:48 · 9884 阅读 · 7 评论 -
LIBSVM 在 python 环境下的使用
一、LIBSVM软件包的下载及配置首先,在该网站下载相应的LIBSVM压缩包文件:https://www.csie.ntu.edu.tw/~cjlin/libsvm/下载解压后,将该文件复制到对应的python环境下的 .../Lib/site-packages/ 目录下。然后,在目录libsvm和目录libsvm/python/下,新建一个空文件,命名为 __init__.py。...原创 2019-01-02 17:47:11 · 4858 阅读 · 1 评论 -
西瓜书课后题——第四章(决策树)
课后题4.3:编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中的西瓜数据集生成一棵决策树 这道题主要参考了这篇博客,课后题4.3编程实现。我对其中给出的代码进行了一些注释,下面贴出代码全文:import numpy as npimport pandas as pdimport mathimport copyimport matplotlib.pyplot as ...原创 2018-12-24 16:54:10 · 10051 阅读 · 10 评论 -
西瓜书课后题——第五章(神经网络)
课后题5.5:编程实现一个标准bp算法和一个累积bp算法,用这两个算法训练一个带有单隐层的网络,并给出在西瓜数据集3.0上的效果首先,单隐层网络,就是输入和输出层之间只有一层神经元的网络,见西瓜书P102图 5.7所示标准bp算法,如书上P102-104所述,每次更新参数只使用一个样本,所以到达收敛所需要训练的次数会比较多。累积bp算法,每次更新参数时,使用的是所有的训练样本,也就是一...原创 2018-12-29 14:47:13 · 2805 阅读 · 3 评论 -
西瓜书课后题——第十一章(特征选择与稀疏学习)
11.1 编程实现 Relief 算法,并在西瓜数据集上测试。Relief 是过滤式特征选择算法,根据设计的 “相关统计量” 来度量特征的重要性。该方法和后续的学习器无关,只根据数据集就可完成特征选择。相关的思想理论介绍见书P249-250代码实现如下:import pandas as pdimport numpy as npclass Relief: def read...原创 2019-05-17 17:23:56 · 4510 阅读 · 0 评论