- 博客(23)
- 收藏
- 关注
RSS订阅原创 初始化方法
标题为什么神经网络的参数不能初始化为0？linkXavier初始化 link理想的参数初始化经过多层网络后，信号不被过分放大或过分削弱。如何保证？数学化的方法就是使每层网络的输入和输出的方差一致。然后我们还要尽量保证每层网络参数分布均值为0，为什么呢？因为这如同归一化，归一化的好处就是为了加快训练；林规格原因也是为了计算方便。随机初始化参数有什么问题？随机初始化没有控制方差，所以对于深层网络而言，随机初始化方法依然可能失效。理想的参数初始化还得控制方差，对w进行一个规范化。如何防止梯度消失？
2021-10-27 08:31:39
179
原创 高频算法题
两个长度相等的数组中寻找中位数(NC36d)class Solution {public: int findMedianinTwoSortedAray(vector<int>& arr1, vector<int>& arr2) { // write code here int n = arr1.size(); if (n == 0) { return NULL; }
2021-10-27 08:30:43
223
原创 LR（基础）
L-R特征是否需要归一化前向看，输出是概率值，概率值的排序不受归一化影响，反向看，参数优化使用的是梯度下降法，如果不对特征进行归一化，可能会使损失函数值的等高线呈椭球形，这样需要较多迭代步，因此归一化是有必要的。什么样的模型需要归一化* 需要进行梯度下降的模型* 有用到样本间距离测度的模型LR特征为什么需要离散化？* LR属于广义线性模型，表达能力有限，单变量离散成N个以后，每个变量有单独的权重，相当于为模型引入了非线性，提高模型的表达能力，加大拟合程度。* 离散特征的增加和减少都很容易，
2021-10-27 08:29:19
488
原创 C++基本语法笔记
基本语法c++在创建变量时，必须给变量一个初始值，否则会报错。switch语句中的表达式类型只能是整型或者字符型。case中如果没有break，那么程序会一直向下执行。二维数组的定义方式：//第一种int arr[2][3];arr[0][0] = 1;//第二种int arr2[2][3] = { {1,2,3}, {4,5,6} };//第三种int arr3[2][3] = { 1,2,3,4,5,6 }; 指针我们可以通过&符号获取变量的地址。我们可
2021-10-27 08:29:06
838
原创 KNN（基础）
KNN优缺点优点： * 简单易用，相比其他算法，KNN是比较简洁明了的算法。 * 模型训练快 * 预测效果好 * 对异常值不敏感缺点：对内存要求较高，因为该算法存储了所有的训练数据预测阶段很慢对不相关的功能和数据规模敏感对数据量纲敏感，所以要进行归一化KNN三要素：K值选取距离度量方式分类决策规则KNN中k值选择的大小有什么影响？如何选择k值?k值的减小意味着模型整体变得复杂，容易发生过拟合。**此时模型复杂度高，稳健性低，决策边界崎岖**。k值的增大意味着整体模
2021-10-27 08:28:02
134
原创 nlp(基础)
LSTM和transformer的区别1.transformer抛弃了传统的CNN和RNN，整个网络结构完全是由attention机制组成，前后没有“时序”，可以实现并行计算，更高效；而LSTM是传统的RNN改进结构，有时序的概念，不能并行计算。2.LSTM引入三个控制门，拥有了长期记忆，更好的解决了RNN的梯度消失和梯度爆炸问题，而transformer依然存在顶层梯度消失问题。3.LSTM的输入具备时序；而Transformer还需要利用positional encoding加入词序信息，但效果不
2021-10-27 08:27:18
2172
原创 Python面试题
一、语言特性1.谈谈python和其他语言的区别？python属于解释性语言，当程序运行时，是一行一行的解释并运行，所以调试代码很方便，开发效率高。缺点：运行速度慢。2.解释型语言和编译型语言特点？解释：边解释边执行。编译：编译后再执行。3.python3和python2的区别？打印时py2不一定要加括号，而python3需要输出中文时，py2需要加# -*- encoding:utf-8 -*-input不同在一群模块文件的集合需要加__init_， py3不一定。二、编码规
2021-10-27 08:26:43
107
原创 支持向量机
原理SVM是去找一个超平面来划分样本，而如何去找到这个超平面，SVM基于几何间隔最大化原理，去寻找最大几何间隔的分类面为最优分类超平面。（一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度，SVM就是要最大化这个间隔值）我们可以发现，SVM划分超平面的选择只和支持向量有关！硬间隔软间隔核函数SVM的优缺点优点：理论完善，逻辑优美。SVM 的最终决策函数**只由少数的支持向量所确定**,计算的复杂性取决于**支持向量的数目**,而不是样本空间的**维数**,这在某种
2021-10-27 08:25:18
74
原创 机器学习考点-杂记1
判别式模型和生成式模型判别式模型直接对条件概率建模，常见的有LR，决策树，SVM，knn，神经网络判别式模型直接对联合概率建模，常见的有HMM，朴素贝叶斯，GMM，LDA生成式模型更普适；判别式模型更直接，目标性更强生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型正负样本不均衡的处理办法上采样：通过将小种类样本复制多份，来得到多个不同数据集，每个数据集训练一个模型。
2021-10-27 08:24:58
139
原创 机器学习常见面试题
特征工程常用数据类型：结构化数据（类似于表）、非结构化数据（文本 图像 音频 视频…）1.为什么要对数值类型的特征做归一化？可以将所有特征都统一到一个相同的特征区间内。线性函数归一化（映射到0-1之间）零均值归一化（使分布为标准正态分布）在进行梯度下降时，如果特征量岗不一样，需要迭代多次 才可能找到最优解。归一化线性回归、逻辑回归、支持向量机、 神经网络等模型 但对于决策树模型则并不适用，例如以 C4.5 为例，决策树在进行节点分裂第主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是
2021-10-27 08:24:35
4459
原创 激活函数（基础）
引入激活函数的意义没有激活函数（非线性函数），输出都是输入的线性组合，网络逼近能力有限。数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。softmax和sigmoid在多分类的选择若多个类别之间时互斥的，就应该使用softmax，若不是就要使用sigmoid...
2021-10-14 15:28:53
89
原创 集成学习（基础）
bagging利用bootstrap方法从整体数据集中采取有放回抽样N个数据集，从每个数据集中学习出一个模型，最后分类采用N个模型预测投票的方式，回归采用平均。（随机森林）boostingboosting创建一系列预测器，或者说学习器。前面的学习器用简单的模型去适配数据，然后分析错误。然后会给予错误预测数据更高权重，然后用后面的学习器去修复。boosting通过把一些弱学习器串起来，组成一个强学习器。boosting的典型应用是Adaboost。XGBoost和LightGBM的区别1.切分算法：
2021-10-14 15:26:25
106
原创 卷积与池化
说说有哪些卷积？1.标准卷积 标准卷积核与目标图像矩阵进行卷积运算，多少数量的卷积核，就会对应多少特征图。2.反卷积 是一种特殊的正向卷积，先按照一定的比例通过补0来扩大输入图像的尺寸，接着旋转卷积核（矩阵转置），再进行正向卷积。反卷积的操作只是恢复了矩阵X的尺寸大小，并不能恢复X的每个元素的原始值。反卷积是一种特殊的正向卷积，先按照一定的比例通过补0来扩大输入图像的尺寸，接着旋转卷积核（转置），再进行正向卷积。但是，如果你代入数字计算会发现，反卷积的操作只是恢复了矩阵X的尺寸大小，并
2021-10-14 14:19:19
355
原创 决策树(基础)
决策树结构结构：根节点，非叶节点，分支，叶节点。种类：分类树，回归树优点：速度快，准确性高、易理解、可以处理连续和种类字段、不需要任何领域知识和参数假设、适合高维数据缺点：对于各类别样本不一致的数据，信息增益偏向于更多那些数值的特征，容易过拟合、忽略属性之间的相关性。决策树的优缺点：优点：决策树易于理解和实现。人们在通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的，其他的数据往往要求先把数据一般化，比如去掉多余的或者空白的属性。能够同时处理数据型和
2021-10-14 14:17:22
459
原创 算法基础-杂记1
判别式模型和生成式模型判别式模型直接对条件概率建模，常见的有LR，决策树，SVM，knn，神经网络判别式模型直接对联合概率建模，常见的有HMM，朴素贝叶斯，GMM，LDA生成式模型更普适；判别式模型更直接，目标性更强生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型正负样本不均衡的处理办法上采样：通过将小种类样本复制多份，来得到多个不同数据集，每个数据集训练一个模型。
2021-10-14 14:15:36
103
原创 常见损失函数
常用的损失函数回归： 绝对值损失函数 平方损失函数（常用于线性回归）分类： 0-1损失函数（感知机） 对数损失函数（用于最大似然估计，等价于交叉熵损失函数） 指数损失函数（Adaboost） 合页损失函数（SVM） 交叉熵损失函数（分类任务）交叉熵函数和最大似然函数的联系和区别？区别：交叉熵函数用来描述模型预测值和真实值的差距大小，越大代表越不相近；似然函数 的本质就是衡量在某个参数下，整体的估计和真实情况一样的概率，越大代表越相近。联系：交叉熵刻意由最大
2021-10-14 11:14:13
70
原创 常见优化器
从优化器的发展历程一个看出，优化方向梯度下降法的核心思想：负梯度是使得函数值下降最快的方向，因此我们的目标就是求取目标函数的负梯度。在梯度下降法中，每次都遍历完整的数据集，能保证结果全局最优（优点），但是也因为我们需要对每一个参数求导，且在对每个参数求导的过程中还需要遍历一次，当训练集很大时，计算费时（缺点）。随机梯度下降法：为了解决梯度下降法的耗时问题，即每次从训练集中随机抽取一个数据来计算梯度。速度快，但结果不一定是全局最优的。波动的存在可能会使得优化的方向从当前的局部极小值点跳到另一个更
2021-10-14 11:11:27
105
原创 正则化-过拟合-欠拟合策略
解决模型过拟合有哪些思路正则化L1正则化，各个参数的绝对值之和。（使参数更稀疏，能够挑选特征）拉普拉斯分布L2正则化，各个参数的平方和，再求平方根。正态分布L1会趋向于产生少量的特征，而其他的特征都是0；L2会选择更多的特征，这些特征都会接近于0。网络层BNdropout数据：扩充数据集通过验证集来提前终止训练降低模型复杂度采用模型融合的方式进行训练（集成学习）什么是正则化？网络出现过拟合的原因就是**就是因为特征分得太细、太多**
2021-10-14 10:45:29
124
原创 linux后台运行&符号、nohup命令、输出重定向等使用方法
linux后台运行&符号、nohup命令、输出重定向等使用方法https://blog.csdn.net/zjc/article/details/51484114在命令最后加上&符号，表示让这个进程到后台去执行，这样立刻返回到提示符状态，我们可以接着做下面的事。如：command &但此时如果这个进程有输出，还是会显示出来，这又会干扰到我们的shell窗口。所以可以考虑把标准输出重定向到某个文件中去，如：command >output &现在清净了。但有时我们会
2021-10-14 10:33:48
882
原创 C++实现九大经典排序
#include <iostream>#include <iterator>#include <string>#include <vector>#include <algorithm>using namespace std;void bubbleSort(vector<int>& arr) { int size = arr.size(); for (int i = 0; i < size - 1; i++)
2021-07-06 21:03:35
96
原创 ubuntu下卸载pycharm
ubuntu下卸载pycharmhttps://www.cnblogs.com/wqb123/articles/12308573.htmlhttps://bbs.csdn.net/topics/396777020?list=69488229rm-rf~/.config/JetBrains
2021-05-22 20:50:11
389
原创 从零使用Anaconda配置pytorch环境
使用Anaconda配置pytorch环境安装显卡驱动参考博客安装anaconda安装过程:参考博客创建虚拟环境:conda create -n torchenv python=3.6安装cuda去官网下载和驱动匹配的cuda,(根据官网提示进行安装)。我这里下载的时run文件，版本：cuda_10.2.89_440.33.01_linux.run.安装完成之后还需要设置环境变量：打开主目录下的 .bashrc文件添加如下路径：export LD_LIBRAR
2021-04-24 14:14:49
189
1
原创 使用docker配置pytorch环境
从零配置pytorch深度学习环境这是我第一次使用docker来搭建深度学习环境，docker真的强大，不会存在使用anaconda那样出现不兼容的情况（之前在我的ubuntu16.04下，想要同时配置pytorch和tensorflow的gpu版本，可是cuda不兼容。因此这次尝试使用docker。docker通过拉取镜像（如pytorch），再生成容器，在容器内可以执行pip命令来安装各种所需要的包，最后还需要重新生成镜像，然后再pycharm中就可以直接使用啦，非常方便。安装docker参考：参
2021-04-24 10:42:16
2024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人