深度学习
文章平均质量分 84
Sais_Z
这个作者很懒,什么都没留下…
展开
-
特征选择方法
Feature Selection 特征选择单变量特征过滤Variance Threshold 方差选择法Pearson Correlation 皮尔森相关系数 (回归问题)Mutual Information互信息Chi-squared Statistics卡方统计量数据预处理后,我们生成了大量的新变量(比如独热编码生成了大量仅包含0或1的变量)。但实际上,部分新生成的变量可能是多余:一方面它们本身不一定包含有用的信息,故无法提高模型性能;另一方面过这些多余变量在构建模型时会消耗大量内存和计算能力。因此原创 2022-05-01 19:02:29 · 1020 阅读 · 1 评论 -
缺失值填补
缺失值填补单变量特征插补多元特征插补参考: https://github.com/YC-Coder-Chen/feature-engineering-handbook单变量特征插补假设第 i 列中有缺失值,那么我们将用常数或第 i 列的统计数据(平均值、中值或众数)对其进行估算from sklearn.impute import SimpleImputertest_set = X[0:10,0].copy() # 选择前十个变量作为测试集,无缺失值# 返回 array([8.3252, 8.3原创 2022-05-01 15:25:55 · 502 阅读 · 0 评论 -
常用类别变量编码方式总结
常用编码方式总结1. Ordinal Encoding 序列编码2. One-hot Encoding 独热编码3.Target Encoding 目标编码4. Hashing Encoding 哈希编码5. Catboost Encoder Catboost 编码参考:http://contrib.scikit-learn.org/category_encoders参考:https://github.com/YC-Coder-Chen/feature-engineering-handbook1. O原创 2022-05-01 15:04:04 · 2065 阅读 · 1 评论 -
第三届阿里云智维算法大赛总结
第三届阿里云智维算法大赛总结问题描述数据简述思路一模板匹配训练数据生成输入模型GridSearchCV调参思路二biL-lstm+attention其他问题描述给定一段时间的系统日志数据,参赛者应提出自己的解决方案,以诊断服务器发生了哪种故障。具体来说,参赛者需要从组委会提供的数据中挖掘出和各类故障相关的特征,并采用合适的机器学习算法予以训练,最终得到可以区分故障类型的最优模型。数据处理方法和算法不限,但选手应该综合考虑算法的效果和复杂度,以构建相对高效的解决方案。初赛会提供训练数据集,供参赛选手训练原创 2022-04-02 22:25:49 · 1687 阅读 · 5 评论 -
DeepFM
DeepFM简介具体结构代码简介DeepFM是2017年华为若亚方舟团队提出的一个将FM与DNN有效结合的模型,主要借鉴Google的Wide&Deep论文的思想并进行适当改进,将其中wide部分(logistic回归)换成FM与DNN进特征交叉。wide和deep部分共享原始输入特征向量,这让DeepFM可以直接从原始特征中同时学习低阶和高阶特征交叉,因此不像Wide&Deep模型那样,需要进行复杂的人工特征工程(logistic回归部分需要人工特征工程),同时训练效率会更高(Deep原创 2021-08-22 17:14:14 · 1057 阅读 · 0 评论 -
正则化技术总结
正则化方法总结概念正则化方法L2-NormL1-NormDropout思考概念过拟合与正则化在机器学习里,使用少量样本去拟合了所有没见过的样本, 我们叫这种现象为“过拟合”。另外,我们训练模型的数据不可避免的存在一些测量误差或者其他噪音,比如下图中10个点,我们可以找到唯一个多项式来拟合所有点;也可以使用线性模型 y = 2x 拟合。简单来说,正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时,最终目的是让模型在面对新数据的时候,可以有很好的表现。当你用比较复杂的模原创 2021-08-20 00:17:02 · 675 阅读 · 0 评论 -
损失函数的总结与推导
损失函数的总结与推导1. 概念区分2.回归常用损失函数2.1 均方差损失(MSE)2.2 平均绝对损失 (MAE)MAE与MSE的比较2.3 Huber Loss3.分类常用损失函数3.1 交叉熵损失3.1.1 二分类3.1.2 多分类分类为什么是交叉熵总结1. 概念区分Loss Function损失函数 Loss Function损失函数 Loss Function还分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别,通常是针对单个训练样本而言,给定一个模型输出原创 2021-08-20 00:06:13 · 4520 阅读 · 0 评论 -
激活函数总结
激活函数总结为什么需要激活函数Sigmoid激活函数Tanh激活函数整流线性单元(ReLU)指数线性单元(ELU)SELULeaky ReLUParametric ReLU (PRELU)Gaussian Error Linear Unit(GELU)SwishData Adaptive Activation Function(Dice)MaxoutSoftplusSoftmax如何选择激活函数?为什么需要激活函数激活函数之性质**1. 非线性:**即导数不是常数。保证多层网络不退化成单层线性网络。这原创 2021-08-20 00:04:20 · 522 阅读 · 0 评论 -
模型优化方法总结
模型优化方法总结1. 梯度下降法SGD2. 动量法Momentum3. RMSpropAdamAdamWLookahead,RAdam?LazyAdam参考资料模型优化方法的选择直接关系到最终模型的性能。有时候效果不好,未必是特征的问题或者模型设计的问题,很可能是优化算法的问题,而且好的优化算法还能够帮助加速训练模型。深度学习模型的发展进程:SGD -> SGDM ->NAG -> AdaGrad -> AdaDelta -> Adam -> Nadam1.整体框原创 2021-08-20 00:01:50 · 9704 阅读 · 0 评论 -
Logistic原理与公式推导
逻辑回归原理与公式手推逻辑回归(Logistic Regression)逻辑回归(Logistic Regression)逻辑回归算法实际上是一种分类算法,它适用于标签 ???? 取值离散的情况,预测的变量 ???? 是离散的值,如:1 0 0 1。要搞清楚逻辑回归的原理必须要从概率和似然性说起。我们常常用概率描述一个事件发生的可能性。而似然性正好反过来,意思是一个事件实际已经发生了,反推在什么参数条件下,这个事件发生的概率最大。即:已知参数 β 前提下,预测某事件 x 发生的概率是 P(x |原创 2021-08-19 23:58:27 · 1166 阅读 · 0 评论 -
BP神经网络公式推导
BP神经网络公式推导神经元简介公式推导神经元简介为了构建神经网络模型,我们需要首先思考大脑中的神经网络是怎样的?每一个神经元都可以被认为是一个处理单元/神经核(processing unit/Nucleus),它含有许多输入/树突(input/Dendrite),并且有一个输出/轴突(output/Axon)。神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络。神经元之间通过电信号进行沟通(微弱的电流)。所以如果神经元想要传递一个消息,它就会就通过它的轴突,发送一段微弱电流给其他神经元的树突。原创 2021-08-19 23:57:23 · 520 阅读 · 0 评论 -
机器学习十大算法案例
机器学习十大算法案例实现监督学习1. 线性回归2. 逻辑回归3. 神经网络4. SVM支持向量机5. K邻近6. 贝叶斯7. 决策树8. 集成学习非监督学习9. 降维—主成分分析10. 聚类分析监督学习1. 线性回归2. 逻辑回归3. 神经网络4. SVM支持向量机5. K邻近6. 贝叶斯7. 决策树8. 集成学习非监督学习9. 降维—主成分分析10. 聚类分析跳转 —>聚类分析综述与案例实现...原创 2021-06-14 19:23:46 · 47814 阅读 · 138 评论 -
特征选择-卡方检验与互信息(python)
特征选择(卡方检验与互信息)特征选择的主要目的有两点:减少特征数量提高训练速度,这点对于一些复杂模型来说尤其重要减少noisefeature以提高模型在测试集上的准确性。一些噪音特征会导致模型出现错误的泛化(generalization),从而在测试集中表现较差。另外从模型复杂度的角度来看,特征越多模型的复杂度越高,也就越容易发生overfitting。互信息(Mutual information)和卡方检验(chisquare)是两种比较常用的特征选择方法:互信息互信息是用来评价一个事件的原创 2021-05-22 20:49:01 · 2129 阅读 · 0 评论 -
NLP技术发展综述
NLP技术发展史2001 - Neural language models(神经语言模型)2008 - Multi-task learning(多任务学习)2013 - Word embeddings( 词嵌入)2013 - Neural networks for NLP2014 - Sequence-to-sequence models2015 - Attention2015 - Memory-based networks2018 - Pretrained language models翻译原文来自:翻译 2021-05-19 15:58:34 · 3402 阅读 · 2 评论 -
Encoder-decoder模型及Attention机制
Seq2Seq模型及Attention机制Seq2Seq模型Attention机制Seq2Seq模型seq2seq模型最早可追溯到2014年的两篇paper [1, 2],主要用于机器翻译任务(MT)。seq2seq本质上是一种encoder-decoder框架,以翻译任务中的“英译汉”为例,模型首先使用编码器对英文进行编码,得到英文的向量化表示S,然后使用解码器对S进行解码,得到对应的中文。由于encoder与decoder两端处理的都是序列数据,所以被称为sequence-to-sequence,简原创 2021-05-06 20:38:37 · 5777 阅读 · 1 评论 -
Ubantu环境部署笔记
Ubantu环境部署系统安装二级目录三级目录系统安装http://www.360doc.com/content/15/0902/16/803694_496491534.shtml二级目录三级目录原创 2021-04-14 18:45:50 · 99 阅读 · 0 评论 -
LeNet-ResNet-AlexNet网络详解
LeNet-AlexNet-VGG-ResNet-DenseNetLeNetLeNet不计输入层,LeNet-5共有7层,每一层的结构为:输入层:输入图像的尺寸统一归一化为32*32。C1层-卷积层输入图片:3232卷积核大小:55卷积核种类:6输出feature map大小:2828 (32-5+1)=28神经元数量:28286可训练参数:(55+1) * 6(每个滤波器55=25个unit参数和一个bias参数,一共6个滤波器)连接数:(55+1)62828=12230原创 2021-04-14 11:18:43 · 1791 阅读 · 0 评论 -
天池智能运维初赛-故障预测方案分享
故障预测问题描述数据描述评价指标比赛官网地址问题描述给定一段时间的内存系统日志,内存故障地址数据以及故障标签数据,参赛者应提出自己的解决方案,以预测每台服务器是否会发生DRAM故障。具体来说,参赛者需要从组委会提供的数据中挖掘出和DRAM故障相关的特征,并采用合适的机器学习算法予以训练,最终得到可以预测DRAM故障的最优模型。数据处理方法和算法不限,但选手应该综合考虑算法的效果和复杂度,以构建相对高效的解决方案数据描述memory_sample_kernel_log_*.csv是从Linux内核日原创 2021-03-28 17:27:21 · 4911 阅读 · 8 评论 -
Pytorch实现的LSTM模型结构
LSTM模型结构1、LSTM模型结构2、LSTM网络3、LSTM的输入结构4、Pytorch中的LSTM4.1、pytorch中定义的LSTM模型4.2、喂给LSTM的数据格式4.3、LSTM的output格式5、LSTM和其他网络组合1、LSTM模型结构BP网络和CNN网络没有时间维,和传统的机器学习算法理解起来相差无几,CNN在处理彩色图像的3通道时,也可以理解为叠加多层,图形的三维矩阵当做空间的切片即可理解,写代码的时候照着图形一层层叠加即可。如下图是一个普通的BP网络和CNN网络。图中的隐转载 2021-03-27 20:58:17 · 51237 阅读 · 30 评论 -
RNN-GRU-LSTM详解
RNN-GRU-LSTM详解原创 2021-03-04 22:34:24 · 2089 阅读 · 2 评论 -
Pytorch自定义神经网络构建
Pytorch基础与简单神经网络构建01-Pytorch基础TensorCuda Tensor(Cpu/Gpu转换)Tensor运算index操作内存问题02-自定义model实现神经网络01-Pytorch基础TensorTensor对象的3个属性:rank:number of dimensionsshape: number of rows and columnstype: data type of tensor’s elements#Tensor实际上就是一个多维数组(multidim原创 2021-02-22 19:05:51 · 1344 阅读 · 1 评论 -
解决Ubantu安装anaconda后的command not found问题
command not found问题安装过程安装配置变量出现这种问题一般是环境问题,建议卸载后重新安装,卸载命令如下。rm -rf ~/anaconda3安装过程安装bash 下载的文件名注意在知道这一步时,会提示是否把anaconda加入到系统环境变量中。默认是no,直接回车就行,不要输入yes。后面自己简单配置即可。配置变量# 将anaconda的bin目录加入PATHecho 'export PATH="~/anaconda3/bin:$PATH"' >> ~/原创 2021-02-19 21:56:57 · 710 阅读 · 1 评论 -
聚类算法综述(案例实现)
聚类分析算法综述1. 聚类相关概念定义方法距离计算相似度计算应用2. 常用传统算法层次方法划分方法K-均值(K-Means)K-中心(K-Medoids)基于密度的方法DBscanMeanShift基于网格的方法基于模型的方法基于约束的方法3. 新发展的算法基于模糊的算法基于粒度的算法量子聚类核聚类谱聚类1. 聚类相关概念定义Clustering (聚类),简单地说就是把相似的东西分到一组,聚类的时候,我们并不关心某一类是什么,我们需要实现的目标只是把相似的东西聚到一起。因此,一个聚类算法通常只需要原创 2021-02-07 09:41:14 · 6733 阅读 · 1 评论 -
ML&大数据--学习框架
了解机器学习机器学习的定义机器学习的范围机器学习的方法机器学习的应用机器学习的应用—大数据机器学习的子类—深度学习机器学习的父类—人工智能后记机器学习的定义从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。让我们把机器学习的过程与人类对历史经验归纳的过程做个比对。人类在成长、生活过程中积累了很多的历史与经验。人类定期地对这些经验进行“归纳”,获得了生活的“规律”。当人转载 2020-09-23 15:51:20 · 377 阅读 · 0 评论 -
监督学习-线性回归及代码实现
线性回归线性回归单变量线性回归损失函数(Cost Function)梯度下降法多变量线性回归线性回归单变量线性回归房价和面积—预测给定一组房价和房屋面积的数据集,通过机器学习算法(监督学习)来拟合画出一条线,根据这条线来对未知的数据进行判断。假设机器通过这些房价数据学习得到一条房价—面积关系线,如上图中红线,那么如果你朋友的750英尺的房子,就可以通过这条红线来估算出房价,可以看出,大约是在150K美金左右。这是一个典型的回归问题(Regression),因为结果(房价)可以是任意实数,且数据原创 2020-09-21 19:14:45 · 398 阅读 · 0 评论 -
机器学习-(02)数据处理(numpy,pandas,matplotlib,Seaborn,爬虫)
Tensorflow(1)Tensorflow的安装与配置(2)核心高阶API _ tf.keras1.机器学习原理-线性回归(1)Tensorflow的安装与配置点击前往Tensorflow的安装与配置(2)核心高阶API _ tf.keras1.机器学习原理-线性回归...原创 2020-09-15 21:19:48 · 2629 阅读 · 0 评论 -
Numpy,Pandas,Matplotlib,Slearn环境的快速安装
快速安装教程1.Numpy的安装2.Pandas的安装3.Matplotlib的安装4.Slearn安装pip使用的是豆瓣的下载源,下载速度很快!1.Numpy的安装windows+R键调出运行框,输入cmd回车,然后在命令行输入:pip install numpy -i https://pypi.douban.com/simple/回车进入安装,我之前已经安装完成了,所以提示numpy已经存在。检测是否安装完成:在命令行输入python回车,在输入import numpy 回车,不报错说原创 2020-08-06 11:36:04 · 1180 阅读 · 0 评论 -
Win10下安装TensorFlow(CPU和GPU)(极速下载)
TensorFlow-CPU与GPU的安装教程TensorFlow-CPU1.下载Anaconda2. 下载Vsual C++3. 安装TensorFlow-CPUTensorFlow-CPU1.下载Anaconda下载Anaconda3-2020.02-Windows-x86_64(如果之前安装过 尽量卸载重新安装)下载地址:点击下载Anaconda3-2020.02-Windows-x86_642. 下载Vsual C++(这一步安装运行库很重要,安装完成后务必重启)下载地址: 点击原创 2020-08-05 11:16:49 · 689 阅读 · 0 评论