DL
关注
一个处女座的程序猿
人工智能硕博生，拥有十多项发明专利(6项)和软著(9项)，包括SCI内多篇论文，多个国家级证书(2个国三级、3个国四级)，曾获国内外“人工智能算法”竞赛(包括国家级省市级等，一等奖5项、二等奖4项、三等奖2项)证书十多项，以上均以第一作者身份，并拥有省市校级个人荣誉证书十多项。目前也是国内知名博主，连续3年获CSDN十大博客之星，荣获达摩院评测官、阿里社区/CSDN社区/51CTO/华为社区等十多个开发者社区专家博主荣誉，曾受邀阿里/华为/谷歌等(开发者社区)采访-评审-论坛几十次。截止2022年，AI领域粉丝超100万，文章阅读量超5000万。正在撰写《AI算法最新实战》一书，目前已43万字
展开
-
Paper：《Adam: A Method for Stochastic Optimization—Adam:一种随机优化方法》的翻译与解读
介绍了一种基于低阶矩自适应估计的随机目标函数一阶梯度优化算法Adam。该方法易于实现，计算效率高，对内存的要求少，对梯度的对角重新缩放是不变的，并且非常适合于数据和/或参数很大的问题。该方法也适用于非平稳目标和具有非常嘈杂和/或稀疏梯度的问题。超参数有直观的解释，通常需要很少的调整。本文讨论了一些与相关算法的联系，Adam 正是在这些算法上受到启发。我们还分析了算法的理论收敛性，并给出了与在线凸优化框架下的最优结果相当的收敛遗憾界。实验结果表明，原创 2020-03-12 22:17:22 · 6146 阅读 · 2 评论 -
Py之fasttext：fasttext的简介、安装、案例应用之详细攻略
fastText是一个用于高效学习单词表示和句子分类的库。原创 2022-11-16 21:30:47 · 759 阅读 · 0 评论 -
DL之IDE：深度学习环境安装之Visual Studio 2015版本+CUDA8.0+Cudnn8.0+OpenCV 3.1.0版本完美搭配安装图文教程之详细攻略
DL之IDE：深度学习环境安装之Visual Studio 2015版本+CUDA8.0+Cudnn8.0+OpenCV 3.1.0版本完美搭配安装图文教程之详细攻略目录VS2015的安装Cuda的安装Cudnn的安装OpenCV 3.1.0的安装VS2015上添加各种依赖图文教程小试牛刀：在Visual Studio 2015上进行测试OpenCVVS2015的安装 为什么要安装？因为导入Tensorfllow的时候需要。相关文章成功解决原创 2020-02-29 23:54:03 · 6888 阅读 · 1 评论 -
DL之GAN：High&NewTech基于计算机视觉领域GAN技术—最新黑科技之秒变宝宝——回到最初的样子
DL之GAN：High&NewTech基于计算机视觉领域GAN技术—最新黑科技之秒变宝宝——回到最初的样子8月14日，快手APP上线名为“变小孩”的魔法表情，在拍摄界面选择该款魔法表情，就能体验变童颜的特效。依赖GAN技术的这款魔表真实感极强，体验起来非常有趣。据了解，该魔法表情适配任意ios及Android设备，支持绝大部分机型手机端上，实时生成视频版娃娃脸。无论男女老少，明星路人都有个重返童年的梦，希望自己永远十八岁(哈哈，骗骗自己就可以了)。原创 2019-08-19 16:01:13 · 4841 阅读 · 1 评论 -
DL之Perceptron：感知器(多层感知机/人工神经元)的原理之基于numpy定义2层感知机底层逻辑代码(与门AND/与非门NAND/或门OR是)解决XOR异或问题之详细攻略
1、最初的感知机设计# 仅包含与门——即AND()函数：当输入的加权总和超过阈值时返回1，否则返回0# 2、进阶的感知机设计：带有权重w、偏置b概念形式的三种门实现#(1)、与门、与非门、或门是具有相同构造的感知机，区别只在于权重参数的值。#(2)、w1、w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度(输出信号为1 的程度)的参数。但是根据上下文，有时也会将b、w1、w2 这些参数统称为权重。# 2.1、设计AND门# 2.2、设计NAND门。原创 2022-09-19 00:37:32 · 1525 阅读 · 1 评论 -
DL之DNN：基于自定义数据集(numpy定义)利用浅层DNN(numpy定义3层前向神经网络/sigmoid函数)代码实现—探究BP神经网络底层思想
神经网络基本结构实现：三个步骤实现#1)、隐藏层的加权和(加权信号和偏置的总和)用a表示，被激活函数转换后的信号用z表示，h()表示激活函数，# 1、定义数据集# 2、定义DNN网络结构# 2.1、利用numpy建立3层前向神经网络# 定义sigmoid 函数# (1)、定义输入层→第1层的信号传递结构# (2)、定义第1层→第2层信号传递结构# (3)、定义第2层→输出层信号传递结构#1)、切记，最后的激活函数和之前的隐藏层有所不同。原创 2020-05-14 09:36:09 · 4309 阅读 · 0 评论 -
DL之LinearNN：LinearNN(线性神经网络)网络结构可视化以及对比XOR算法可视化之详细攻略
DL之LinearNN：LinearNN(线性神经网络)网络结构可视化以及对比XOR算法可视化之详细攻略。原创 2018-03-20 23:02:54 · 11772 阅读 · 0 评论 -
AI：模型蒸馏/知识蒸馏(Knowledge Distilling,KD)算法的简介、案例应用之详细攻略
我们更通用的解决方案，称为“蒸馏”，是提高最终softmax的温度，直到繁琐的模型产生一组合适的软目标。综上所述，KD的核心思想在于"打散"原来压缩到了一个点的监督信息，让student模型的输出，尽量match teacher模型的输出分布。知识蒸馏是模型压缩的一种方法，是指利用已经训练的一个较复杂的Teacher模型，指导一个较轻量的Student模型训练，从而在减小模型大小和计算资源的同时，尽量保持原Teacher模型的准确率的方法。，这样可以利用的监督信息就远比one hot的多了。原创 2020-09-11 20:27:14 · 4721 阅读 · 0 评论 -
Paper：《Distilling the Knowledge in a Neural Network神经网络中的知识蒸馏》翻译与解读
提高几乎任何机器学习算法性能的一种非常简单的方法，是在相同数据上训练许多不同的模型，然后对它们的预测进行平均[3]。不幸的是，使用整个模型集合进行预测是很麻烦的，并且可能计算量太大，而无法部署到大量用户，特别是在单个模型是大型神经网络的情况下。Caruana和他的合作者[1]已经证明，可以将集成中的知识压缩到一个更容易部署的模型中，我们使用一种不同的压缩技术进一步开发了这种方法。我们在MNIST上取得了一些令人惊讶的结果，并且我们表明，我们可以通过将模型集合中的知识提取到单个模型中来。原创 2020-07-18 11:45:07 · 2651 阅读 · 0 评论 -
ML&DL：《Hyperparameter tuning for machine learning models机器学习模型的超参数调优》翻译与解读
ML&DL：《Hyperparameter tuning for machine learning models机器学习模型的超参数调优》翻译与解读目录《Hyperparameter tuning for machine learning models机器学习模型的超参数调优》翻译与解读Model validation模型验证Hyperparameter tuning methods超参数调整方法Grid search网格搜索Random search随机搜索Bayesian optimization贝叶斯原创 2022-06-30 21:38:42 · 968 阅读 · 0 评论 -
DL：深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码
DL：深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码目录深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码原创 2022-06-29 23:33:47 · 1001 阅读 · 0 评论 -
DL之GRU(Tensorflow框架)：基于茅台股票数据集利用GRU算法实现回归预测(保存模型.ckpt.index、.ckpt.data文件)
DL之GRU(Tensorflow框架)：基于茅台股票数据集利用GRU算法实现回归预测(保存模型.ckpt.index、.ckpt.data文件) 目录基于茅台股票数据集利用GRU算法实现回归预测(保存模型.ckpt.index、.ckpt.data文件)#1、定义数据集# 2、数据集预处理# 2.1、数据集切分# 2.2、数据维度转换# 2.3、训练集、测试集进行MinMax归一化# 2.4、依次构建train、test的时序性数据集矩阵# (1)、for循环构建train时序性数据集矩阵# (2)、fo原创 2022-06-28 23:08:55 · 1879 阅读 · 0 评论 -
DL之GRU：基于2022年6月最新上证指数数据集结合Pytorch框架利用GRU算法预测最新股票上证指数实现回归预测
DL之GRU：基于2022年6月最新上证指数数据集结合Pytorch框架利用GRU算法预测最新股票上证指数实现回归预测目录基于2022年6月最新上证指数数据集结合Pytorch框架利用GRU算法预测最新股票上证指数实现回归预测# 0、数据集预整理# 1、读取数据集# 2、数据预处理# 2.1、数据清洗# 2.2、时间格式数据标准化# 2.3、定义y_train# 2.4、构造时序性矩阵数据集：基于y重新设计训练集——符合时序性# 2.5、对训练集进行 Z_score标准归一化处理# 2.6、将训练集的df格原创 2022-06-28 00:02:45 · 1810 阅读 · 1 评论 -
DL之DNN：基于sklearn自带california_housing加利福尼亚房价数据集利用GD神经网络梯度下降算法进行回归预测(数据较多时采用mini-batch方式训练会更快)
DL之DNN：基于sklearn自带california_housing加利福尼亚房价数据集利用GD神经网络梯度下降算法进行回归预测(数据较多时采用mini-batch方式训练会更快)目录基于sklearn自带california_housing加利福尼亚房价数据集利用GD神经网络梯度下降算法进行回归预测(数据较多时采用mini-batch方式训练会更快)输出结果实现代码基于sklearn自带california_housing加利福尼亚房价数据集利用GD神经网络梯度原创 2022-05-05 05:03:43 · 1834 阅读 · 1 评论 -
AI：人工智能的多模态融合模型的简介、发展以及未来趋势
AI：人工智能的多模态融合模型的简介、发展以及未来趋势目录人工智能的多模态融合模型的简介、发展以及未来趋势多模态融合模型的简介多模态融合模型的发展趋势多模态常见应用分类1、按照模态分类2、按照功能分类多模态模型案例相关文章：Paper：《Multimodal Machine Learning: A Survey and Taxonomy，多模态机器学习:综述与分类》翻译与解读人工智能的多模态融合模型的简介、发展以及未来趋势多模态融合模型的简原创 2022-02-20 00:33:48 · 8818 阅读 · 1 评论 -
NLP：GLUE和SuperGLUE基准的简介、任务分类、使用方法之详细攻略
NLP：GLUE和SuperGLUE基准的简介、任务分类、使用方法之详细攻略目录GLUE和SuperGLUE基准的简介GLUE和SuperGLUE基准的具体任务GLUE taskGLUE的特点GLUE的意义GLUE的具体内容—9个自然语言理解任务的集合，包括四种类型任务SuperGLUE taskGLUE的缺陷引入SuperGLUESuperGLUE的特点SuperGLUE的具体内容— GLUE，General Language Understanding Evaluation，即通用语言理原创 2022-02-10 21:46:23 · 2496 阅读 · 1 评论 -
CV之IE之Inception：基于TF框架利用Inception模型+GD算法的某层网络图像生成不同尺寸和质量的Deep Dream幻觉梦境图片(特征可视化实现图像可解释性)—五个架构设计思维导图
CV之IE之Inception：基于TF框架利用Inception模型+GD算法的某层网络图像生成不同尺寸和质量的Deep Dream幻觉梦境图片(特征可视化实现图像可解释性)—五个架构设计思维导图。原创 2022-02-09 21:16:41 · 2804 阅读 · 0 评论 -
Paper：可解释性之SHAP之《A Unified Approach to Interpreting Model Predictions—解释模型预测的统一方法》论文解读与翻译
Paper：可解释性之SHAP之《A Unified Approach to Interpreting Model Predictions—解释模型预测的统一方法》论文解读与翻译目录《A Unified Approach to Interpreting Model Predictions》论文解读与翻译相关文章Paper：《A Unified Approach to Interpreting Model Predictions—解释模型预测的统一方原创 2020-05-09 20:03:50 · 7078 阅读 · 2 评论 -
Paper：《ELMO：Deep contextualized word representations》翻译与解读
Paper：《ELMO：Deep contextualized word representations》翻译与解读目录《ELMO：Deep contextualized word representations》翻译与解读Abstract1 Introduction2 Related work3 ELMo: Embeddings from Language Models3.1 Bidirectional language models3.2 ELMo3.3 Usin原创 2019-01-19 11:25:15 · 9494 阅读 · 0 评论 -
CV之IE之NoGAN：基于fastai框架利用NoGAN算法实现图像增强技术(图片上色实现对旧图像和电影片段进行着色和修复,以爱因斯坦旧照/鲁迅旧照/清末官员生活场景旧照为例)案例应用
CV之IE之NoGAN：基于fastai框架利用NoGAN算法实现图像增强技术(图片上色实现对旧图像和电影片段进行着色和修复,以爱因斯坦旧照/鲁迅旧照/清末官员生活场景旧照为例)案例应用。原创 2020-12-22 00:03:09 · 4293 阅读 · 0 评论 -
CV之IC之AlexNet：基于tensorflow框架采用CNN卷积神经网络算法(改进的AlexNet,训练/评估/推理)实现猫狗分类识别案例应用
数据下载train文件夹里有25000张狗和猫的图片。这个文件夹中的每个图像都有标签作为文件名的一部分。测试文件夹包含12500张图片，根据数字id命名。对于测试集中的每个图像，您应该预测图像是一只狗的概率(1 =狗，0 =猫)。原创 2020-12-17 23:13:45 · 2505 阅读 · 1 评论 -
Tensorflow：在Tensorflow的不同版本中如何实现Xavier参数权重初始化
Tensorflow：在Tensorflow的不同版本中如何实现Xavier参数权重初始化目录在Tensorflow的不同版本中实现Xavier参数权重初始化Tensorflow1版本中实现Tensorflow2版本中实现在Tensorflow的不同版本中实现Xavier参数权重初始化Tensorflow1版本中实现initializer = tf.contrib.layers.xavier_initializer()Tensorflow原创 2021-10-12 21:29:34 · 1973 阅读 · 0 评论 -
CV之IC之SpatialTransformer：基于ClutteredMNIST手写数字图片数据集分别利用CNN_Init、ST_CNN算法(CNN+ST)实现多分类预测案例训练过程记录
CV之IC之SpatialTransformer：基于ClutteredMNIST手写数字图片数据集分别利用CNN_Init、ST_CNN算法(CNN+ST)实现多分类预测案例训练过程记录。原创 2021-02-27 09:04:28 · 6100 阅读 · 3 评论 -
DL之LSTM：基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(基于keras)对word实现预测
DL之LSTM：基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(基于keras)对word实现预测目录基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(基于keras)对word实现预测设计思路输出结果核心代码基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(基于keras)对word实现预测设计思路更新……输出结果rawtext_B...原创 2020-12-24 23:08:43 · 2459 阅读 · 2 评论 -
DL之LSTM：基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(层加深，基于keras)对单个character字符预测
DL之LSTM：基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(层加深，基于keras)对单个character字符预测目录基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(层加深，基于keras)对单个character字符预测设计思路输出结果核心代码基于《wonderland爱丽丝梦游仙境记》小说数据集利用LSTM算法(层加深，基于keras)对单个character字符预测设计思路数据集下...原创 2020-12-23 23:53:46 · 2301 阅读 · 0 评论 -
DL之Perceptron&AdalineGD：基于iris莺尾花数据集利用Perceptron感知机和AdalineGD算法实现二分类
DL之Perceptron：基于iris莺尾花数据集利用Perceptron感知机算法实现二分类目录基于iris莺尾花数据集利用Perceptron感知机算法实现二分类设计思路输出结果核心代码基于iris莺尾花数据集利用Perceptron感知机算法实现二分类设计思路更新……输出结果<bound method DataFrame.info of SepalLength_cm SepalWidth_cm ....原创 2020-12-07 23:42:53 · 3791 阅读 · 3 评论 -
CV之IG之DCGAN：基于keras框架利用深度卷积对抗网络DCGAN算法对MNIST数据集实现图像生成(保存h5模型→加载模型)案例应用
CV之IG之DCGAN：基于keras框架利用深度卷积对抗网络DCGAN算法对MNIST数据集实现图像生成(保存h5模型→加载模型)案例应用。原创 2020-11-24 21:56:06 · 2962 阅读 · 3 评论 -
CV之IC之VGG16：基于Keras框架利用卷积神经网络VGG16算法的迁移技术实现猫狗分类识别(图片数据增强→保存h5模型)案例训练过程记录
CV之IC之VGG16：基于Keras框架利用卷积神经网络VGG16算法的迁移技术实现猫狗分类识别(图片数据增强→保存h5模型)案例训练过程记录。原创 2020-11-22 14:02:20 · 2593 阅读 · 1 评论 -
DL：基于keras和tensorflow 框架保存网络结构/网络拓扑图/网络模型(json、yaml、h5等文件)注意事项及代码实现(保存和加载.h5模型文件案例)之详细攻略
DL：基于keras和tensorflow 框架保存网络结构/网络拓扑图/网络模型(json、yaml、h5等文件)注意事项及代码实现(保存和加载.h5模型文件案例)之详细攻略。原创 2020-11-22 11:28:26 · 2561 阅读 · 1 评论 -
CV之IC之AlexNet：基于Keras框架利用卷积神经网络类AlexNet算法实现猫狗分类识别(图片数据增强→保存h5模型→加载模型)案例应用
CV之IC之AlexNet：基于Keras框架利用卷积神经网络类AlexNet算法实现猫狗分类识别(图片数据增强→保存h5模型→加载模型)案例应用。原创 2020-11-22 00:48:38 · 3052 阅读 · 1 评论 -
DL框架之PyTorch：深度学习框架PyTorch的简介、安装、使用方法之详细攻略
DL框架之PyTorch：PyTorch的简介、安装、使用方法之详细攻略DL框架之PyTorch：深度学习框架PyTorch的简介、安装、使用方法之详细攻略目录PyTorch的简介1、pytorch的三大优势2、PyTorch的三个结构层次PyTorch的安装1、20181114更新版本到 torch-0.4.12、20200108更新版本到 torch 1.3.13、Anaconda内安装torch的whl文件更新版本到 torch 1.3.14、A原创 2018-04-30 22:17:51 · 15102 阅读 · 0 评论 -
CV之FR之FAN：FAN人脸对齐网络(Face Alignment depth Network)的论文简介、案例应用之详细攻略
随着深度学习的到来和大型注释数据集的发展，最近的工作已经显示出前所未有的准确性，甚至在最具挑战性的计算机视觉任务的结果。在这项工作中，我们重点关注landmark 定位，特别是面部landmark 定位，也被称为面部对齐，可以说是过去几十年计算机视觉中研究最多的主题之一。最近使用卷积神经网络(CNNs)进行地标定位的工作已经在其他领域如人体姿态估计[39,38,24,17,27,42,23,5]中突破了界限，但目前还不清楚在人脸对齐方面取得了什么进展。这项工作的目的是解决这个差距在文学。原创 2019-12-11 09:28:49 · 3900 阅读 · 0 评论 -
DL之DNN：基于Tensorflow框架对神经网络算法进行参数初始化的常用九大函数及其使用案例
DL之DNN：基于Tensorflow框架对神经网络算法进行初始化的常用函数及其使用案例目录基于Tensorflow框架对神经网络算法进行初始化的常用函数及其使用案例1、初始化的常用函数1.1、tf.constant_initializer() 常数初始化1.2、tf.zeros_initializer() 全0初始化1.3、tf.ones_initialize...原创 2020-04-10 21:59:09 · 15222 阅读 · 0 评论 -
DL之LSTM：tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读
DL之LSTM：tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读目录tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读函数功能解读函数代码实现tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读函数功能解读 """Basic LS...原创 2020-04-10 18:52:48 · 5389 阅读 · 0 评论 -
Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet C》的翻译与解读
Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》的翻译与解读Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Class...原创 2020-04-10 17:36:01 · 6790 阅读 · 1 评论 -
Paper：Xavier参数初始化之《Understanding the difficulty of training deep feedforward neural networks》的翻译与解读
Paper：Xavier参数初始化之《Understanding the difficulty of training deep feedforward neural networks》的翻译与解读目录Understanding the difficulty of training deep feedforward neural networksAbstract5 Er...原创 2020-04-10 17:27:19 · 4850 阅读 · 0 评论 -
Paper之RegNet：《Designing Network Design Spaces》的翻译与解读—2020年3月30日来自Facebook AI研究院何恺明团队最新算法RegNet
在这项工作中，我们提出了一个新的网络设计范例。我们的目标是帮助提高对网络设计的理解，并发现跨设置泛化的设计原则。我们不是专注于设计单个的网络实例，而是设计参数化网络总体的网络设计空间。整个过程类似于经典的手工网络设计，但是提升到了设计空间的层次。使用我们的方法，我们探索了网络设计的结构方面，并得出一个由简单的、规则的网络组成的低维设计空间，我们称之为RegNet。良好网络的宽度和深度可以用量化的线性函数来解释。我们分析了RegNet设计空间，得出了与当前网络设计实践不相符的有趣发现。RegNet设计空间。原创 2020-04-02 21:22:47 · 8016 阅读 · 2 评论 -
Tensorflow：tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利！)、MultiRNNCell函数的解读与理解
Tensorflow：tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利！)、MultiRNNCell函数的解读与理解目录tf.contrib.rnn.DropoutWrapper函数解读与理解tf.contrib.rnn.MultiRNNCell函数解读与理解tensorflow官网API文档：https://te...原创 2020-03-24 01:15:58 · 7512 阅读 · 2 评论 -
DL之softmax：深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现
1、定义softmax()函数# T1、初级定义softmax()函数：但是较大的数值难以计算# T2、优化后的softmax()函数：解决因数值超大而导致的溢出现象# 输出总和为1是softmax函数的一个重要性质。正因为有这个性质，才可以把softmax 函数的输出解释为“概率”。# [ 0.01821127 0.24519181 0.73659691] #有74%的概率是第2个类别，有25%的概率是第1个类别，有1%的概率是第0个类别。原创 2020-03-20 14:19:38 · 3586 阅读 · 0 评论 -
TF：TF定义两个变量相乘之placeholder先hold类似变量+feed_dict最后外界传入值
TF：TF定义两个变量相乘之placeholder先hold类似变量+feed_dict最后外界传入值目录输出结果代码设计输出结果代码设计#TF：TF定义两个变量相乘之placeholder先hold类似变量+feed_dict最后外界传入值import tensorflow as tfinput1 = tf.plac...原创 2018-11-14 11:39:29 · 11161 阅读 · 0 评论