qq_51963033的博客

原创 动手学深度学习（三）

手动实现%matplotlib inlineimport randomimport torchfrom d2l import torch as d2ldef synthetic_data(w, b, num_examples): #@save """生成y=Xw+b+噪声""" X = torch.normal(0, 1, (num_examples, len(w))) y = torch.matmul(X, w) + b y +...

原创 动手学深度学习（二）

原创 动手学深度学习（一）

原创 自学机器学习笔记（二十一）

K-均值聚类假设空间由N个点{Xi}，i=1，2，……N，我们把这N个点划分为K类，对每个点设置一个隐含变量{Zi}i=1，2，……N，Zi取值范围为1，2，……K。表示相应的Xi所属类别，我们要将同一类别的点的欧氏距离比较近，因此我们设置每一个类别的中心为C1，C2……CKK均值聚类的优化目标最小化：要合理选取每个点的类别和类别的中心，这是一个非连续的优化问题，我们把这类优化问题叫整数规划。问题难点：不知道Zi和Ci，我们可以通过Zi求出Ci，也可以通过Ci求出Zi，但是都不知道。EM

原创 自学机器学习笔记（二十）

人工智能中的哲学意识是精神的一部分，与物质相对意识的脑科学基础：脑部不同区域，控制人体不同功能脑部某部分受损，意味着人体某种功能受损脑电图，颅电磁扫描仪，脑磁图，近红外光谱等，实时观测脑内电磁信号目前水平：非侵入式脑机接口，每秒钟传播信息小于10比特如何判断人工智能有了意识：第一次的思考：图灵测试基于图灵测试 Loebner Price，一个人和真人和机器交流5分钟，判断哪个是机器所有测试者判断正确率最低的人电脑程序获胜人工智能企图通过图灵测试的方法：（1）扮演智力低

原创 自学机器学习笔记（十九）

ADABOOST 核心思想：融合一些弱分类器获得强分类器核心流程：先用一部分特征训练一些较弱的分类器，然后再将这些较弱的分类器逐步提升为强的分类器。ADABOOST的核心是调整训练样本的分布，使得先前分类器做错的训练样本在后续学习中获得更多的关注，然后基于调整后的样本分布来训练下一个分类器。算法流程：假定一个二类分类问题输出：最终分类器G（x）步骤一：初始化每个样本的权值分布每个样本以等概率被采样注：这里em表示的是用每个样本权重分布wmi加权平均后的错误率...

原创 图论（网络流的基本概念）

流网络（可以有环的有向图） 流网络有两个特殊的点：源点S，汇点T。流网络中每条边都有一个属性：流网络的容量：相当于水管的流量的限制。源点有无穷多的流量，汇点有无穷多的容量。G=（V,E)注：假设不存在反向边当然对于有反向边的情况，也可以在反向边上加一个点，这样就相当于没有反向边了对于每一个流网络我们考虑每一个可行流（f）：指定每一条边的流量（需要满足容量限制 0<=f(u,v)；流量守恒：对于任意X属于V不包括S,T，所有流量之和等于流出去之和。流量值：流出源点流量-流

原创 自学机器学习笔记（十八）

围棋基本规则：中国规则：无气自提，禁止全局同形，地大者胜无气自提：气：每颗子的上下左右空着的地方，都是这颗子的气，如：而且要把上下左右相连的，同样颜色的子看成一个整体来统计气的数量无气自提：走一步后，使对方一片棋子处于完全无气状态，这片棋子要被移出棋盘‘当某一个格点已经没有气了，哪怕它是空的，也不允许走到这里了，这里叫做禁着点当一方走到没有气的地方，能提掉对方的棋子时，允许它走到这里并提掉对方棋子禁止全局同形：双方下每一步棋后，棋子上黑子、白字和空格的分布，不能和以.

原创 自学机器学习笔记（十七）

深度强化学习强化学习对于状态数和行为数很多时，这两个算法将会遇到困难，因为它们会遍历所有状态数和行为数。因此有了深度强化学习方向：如果Q(s，a）函数定义为如下形式：即在状态s情况下采用行为a后获得的指数化衰减的累计奖励。那么容易推出如下地推公式：可以建出DEEP Q-NETWORK（DQN)的网络基本思路：用深度神经网络来模拟θ为待估计变量因此可以做如下推导（1）前向计算：（2）后向传播因为状态数量太多，DQN进行了有限采样。 Poli...

原创 自学机器学习笔记（十六）

强化学习强化学习与监督学习的区别：训练数据中没有标签，只有奖励函数训练数据不是线程给定，而是由行为获得。现在的行为不仅影响后续训练数据的获得，也影响奖励函数的取值。训练的目的是构建一个“状态->行为”的函数状态：描述了目前内部与外部的环境。要使这个智能体（Agent）通过这个函数，决定此时应该采取的行为，最终获得最大的奖励函数值Rₜ:t时刻的奖励函数值Sₜ：t时刻的状态Aₜ：t时刻的行为我们假设状态数有限，行为数有限在强化学习中，我们经常运用以下假设：（1）

原创 自学机器学习笔记（十五）

如何让深度神经网络具有创意力生成对抗网络(GAN)基本原理：输入图片在高维空间中有某种特定的概率分布，而网络正是要学习这种概率分布。因为概率太高，传统的概率密度函数估计没有用。因此提出借助博弈论思想构造两个深度神经网络，一个叫生成器，一个叫判别器，让它们相互对抗在对抗中进步。例如：手写数字的生成任务GAN的优化函数当G,D二者的模型容量足够时，二者将达到纳什均衡GAN的具体训练算法GAN的具体应用1、真是人脸生成：输入随机噪声，利用生成对抗网络来生成真实的人脸..

原创 自学机器学习笔记（十四）

YOLO网络：多目标检测和识别的另一个重要的工作将输入图像分成S*S个格子某个物体的ground truth的中心位置的坐标落入到某个格子，那么这个格子就负责检测出物体每个格子预测B个bounding box及其置信度，以及C个类别概率bbox信息（X,Y,W,H)为物体的中心位置相对格子位置的偏移及宽度和高度，均被均一化置信度反映的是是否包含物体以及包含物体情况下位置的准确性YOLOv1网络在最后使用全连接层进行类别输出全连接层的输出维度S*S*(B*5+C)YOLO网

原创 自学机器学习笔记（十三）

人脸识别的卷积神经网络在最后一层，如在常用的WEBFACE数据库，总共有10575人，也就是10575类，最后一层SOFTMAX的输出时10575维。因此我们在训练时保留最后一层SOFTMAX，而在测试时却不要最后一层，将倒数第二层160个维度作为最后的人脸识别的特征。在测试时，每张人脸通过卷积神经网络，获得160维向量，利用距离量度，算出基于这160维向量的人脸距离，最终通过阈值获得识别结果。近年来在损失函数的改进 还有COSINFACE和ARCFAC...

原创 学习机器学习笔记（十二）

卷积神经网络ALEXNET结构：注：层与层之间也有非线性函数和BATCH NORMALIZATION网络的结构在第一个卷积层中输入是227*227的彩色图片（有RGB三个颜色分量：channel数量为3）第一个卷积层中有96个11*11*3的卷积核，步长为（4，4）注：如果一个M*N的图像和一个m*n的卷积核进行操作，移动步长为（P,Q)则输出的特征图长H和宽W分别为：H=floor((M-m)/p)+1W=floor((N-n)/Q)+1因此代入计算第一个卷积层得.

原创 学习机器学习笔记（十一）

深度学习多层神经网络的劣势：数学不漂亮，优化算法只能获取局部极值，算法性能与初始值有关。不可解释。训练神经网络获得的参数与实际任务的关联性非常模糊。模型可调整的参数很多，使得训练神经网络变成了一门“艺术”。如果要训练相对复杂的网络，需要大量的训练样本。自编码器采用的是分层初始化的思想步骤1：先训练这个网络：假设：X的维度是4维，第一层有3个神经元通过第一层Layer1后4维变成3维，而这三维数据通过后面一层能够大致恢复原有的四维数据X，这三维数据浓缩了原有的四维数据信息...

原创 自学机器学习笔记（十）

人工神经网络实现兵王问题主函数clear all;fid = fopen('krkopt.DATA');c = fread(fid, 3);vec = zeros(6,1);xapp = [];yapp = [];while ~feof(fid) string = []; c = fread(fid,1); flag = flag+1; while c~=13 string = [string, c]; c=fre

原创 自学机器学习笔记（九）

后向传播算法 几个编导数之间是相互关联的利用链式求导法先计算这三个点接着 可得综合我们可得同理我们可以得到同理 因为其从输出往输入推，从后往前传递，所以叫后向传播算法总结后向传播算法的步骤：（1）对神经网络每一层的各个神经元，随机选取相应的w，b的值（2）设置目标函数E，例如E=1/2（y-Y）^2，用后向传播算法对每一个w和b，计算（3）利用如下迭代公式，更新w和b的值（4）回到（2），不断循环，直到所有...

原创 自学机器学习笔记（八）

人工神经网络的第一次寒冬图像在计算机中是以矩阵形式存储的矩阵的数是像素值，在这张图像素值是0~255，0是纯黑色，255纯白色可以把这些像素值从左到右，从上到下存下来，这样可以形成一个列向量X，假设原图长为M，宽为N，列向量X的维度为MN，而y=+1：x是连通图；y=-1：x不是连通图识别连通图问题是非线性可分的但是从1969年到1980年人工神经网络方面的研究陷入停滞，历史上称为人工神经网络研究的第一次寒冬。直到上个实际80年代初才得到复苏，基于多个神经元的多层神经网络诞生

原创 自学机器学习笔记（七）

人工神经网络（仿生学派典型代表）根据神经元模型得到mp模型机器学习中最常用的人工神经网络和深度学习的基本结构单元仍然是mp模型任务：找出一个向量W和一个常数b，使得对i=1~N训练数据Xi满足上述条件叫做这个数据获得了平衡感知机算法寻找w，b的方法（1）随机选择w和b（2）取一个训练样本（X,Y) （i）若wᵀ+b>0,且y=-1,则：w=w-X b=b-1 （ii）若wᵀ+b<0,且y=+...

原创 自学机器学习笔记（六）

度量系统性能的标准混淆矩阵注：因为负样本更多，所以猜负样本TP+FN=1 FP+TN=1ROC曲线概率TP,FN,FP,TN的关系TP+FN=1FP+TN=1对同一个系统来说，若TP增加，则FP也增加注：对同一个系统如果把更多的正样本识别为正样本，则我们一定把更多的负样本识别为负样本支持向量机的判别公式只要我们改一下，，就能获得另一个系统ROC曲线比如说上图的ROC曲线，系统性能最好的是蓝色...

原创 自学机器学习笔记（五）

研究兵王问题matlab程序总代码：clear all;% Read the data.fid = fopen('krkopt.DATA');c = fread(fid, 3);vec = zeros(6,1);xapp = [];yapp = [];while ~feof(fid) string = []; c = fread(fid,1); flag = flag+1; while c~=13 string = [string

原创 自学机器学习笔记（四）

兵王问题描述如果黑方只剩一个王，白方剩一个兵，一个王兵的升变：兵走至对方的底线，可以升变为除王以外的任意棋子。逼和：一方的王未被将军，但移动到任意的地方都会被对方处死，则此时式和棋。UCI Machine Learning 中的数据集krkopt.data和棋（draw）yᵢ=+1其他 （ONE-FIFTEEN) yᵢ=-1第一步：对数据进行预处理随机取5000个样本训练，其余测试对训练样本归一化在训练样本上，求出每个维度的均值和方差，在训练和测试样本上同时归一化

原创 自学机器学习笔记（三）

支持向量机（算法流程）由于我们知道这个式子就是核函数：，因此我们知道核函数就可以求解最优化的对偶问题解出aᵢ就可以求出注：由于Φ(X)可能没有显式表达，因此w也不知道是否具有显式表达如何求b由于能得到图一图二由图二得 g[i]被分成了两部分，而有着不同得Bᵢ------aᵢ与bᵢ由图三得求导c=aᵢ+bᵢ因此bᵢ=c-aᵢ，且如过对于某个i，aᵢ!=0并且aᵢ！=c，则根据KKT条件，必有而所以只需要找一个0<aᵢ<c...

原创 自学机器学习笔记（二）

支持向量机线性可分：存在一条直线分开线性不可分：不存在一条直线分开线性可分：假设：用数学严格的定义线性可分若yᵢ=+1，w₁x₁+w₂x₂+b>0若yᵢ=-1，w₁x₁+w₂x₂+b<0用向量形式来定义线性可分线性可分定义的最简化形式对于一个训练样本集{（Xᵢ，Yᵢ）},在i=1~N线性可分，是指存在（w，b），使得对于i=1~N，有yᵢ（wᵀXᵢ+b）>0支持向量机寻找的最优分类直线应满足：（1）该直线分开了两类；（2.

原创 自学机器学习笔记（一）

不是通过显著式的编程得到的比如分类问题，让计算机自己去总结分类的特点。非显著式编程的做法：可以采用的一系列行文我们规定在特定的环境下，机器人作这些行文所带来的收益（收益函数）定义：程序对于某个任务T和某个性能指标P，从经验E中学习。在学习过程中，它在T上的被P所衡量的性能，会随着经验E的增加而提高。机器学习分为监督学习（自己添加标签），强化学习（机器热通过与环境的互动逐渐强化自己的行为模式）（这样的分类不绝对)监督学习的一种分类方法：基于标签的固有属性分类（标签是离散的值） 回归

原创 算法2的四道题

最长上升子序列一个数的序列bi，当b1 < b2 < ... < bS的时候，我们称这个序列是上升的。对于给定的一个序列(a1, a2, ..., aN)，我们可以得到一些上升的子序列(ai1, ai2, ..., aiK)，这里1 <= i1 < i2 < ... <iK <= N。比如，对于序列(1, 7, 3, 5, 9, 4, 8)，有它的一些上升子序列，如(1, 7), (3, 4, 8)等等。这些子序列中最长的长度是4，比如子序列(1, 3,

原创 NENU 2021 第一阶段新生选拔赛

A题 数字统计防止答案过大，用long long，我看到范围只到10000，所以想直接暴力l到r中所有出现的2。#include<bits/stdc++.h>using namespace std;long long check(int x) //获得x中的2的数量{ long long res=0; while(x) { if(x%10==2) res++; x=x/10; } return res; //返回res}int main(){.