- 博客(47)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 什么是L1和L2正则化，以及它们有什么区别
在防止过拟合的方法中有L1正则化和L2正则化，L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。
2023-03-07 19:40:32
406
原创 运行openai遇到：module ‘openai‘ has no attribute ‘ChatCompletion‘ 解决方案
module 'openai' has no attribute 'ChatCompletion'解决方法
2023-03-06 11:50:20
860
原创 如何监测部署服务是否正常运行，同时挂掉后自动重启
在服务器中启动服务，偶尔服务会挂断。通过Python实现脚本进行端口监测，失败后自动重启，同时发送信息到终端接收。
2023-02-20 19:03:02
67
原创 最基础的协同过滤介绍
本文主要介绍了协同过滤基本内容，协同过滤，即利用集体智慧，借鉴相关人群的观点进行推荐。其后又介绍了基于用户、项目的协同过滤。
2022-11-28 18:11:39
337
原创 《深度学习进阶 自然语言处理》第八章：Attention介绍
本章我们将介绍进一步强化seq2seq的注意力机制(Afttention mechanism,简称Attention )。基于Attention 机制, seq2seq可以像我们人类一样,将“注意力”集中在必要的信息上。
2022-11-22 20:45:23
375
1
原创 《深度学习进阶 自然语言处理》第七章：seq2seq介绍
seq2seq 是 "(from) sequence to sequence"（从时序到时序）的意思，即将一个时序数据转换为另一个时序数据。本章我们将看到，通过组合两个 RNN，可以轻松实现 seq2seq。seq2seq 可以应用于多个方向，比如机器翻译、聊天机器人和邮件自动回复等。
2022-11-21 20:09:33
1124
1
原创 推荐系统最通俗介绍
本文主要对推荐系统做了基本介绍，从推荐系统为什么会出现，然后讲解了推荐系统基本概念，以及推荐和搜索的区别；梳理了推荐系统的发展历史，推荐系统主要架构，部分推荐系统案例；最后自己设计了一个视频推荐系统整体流程。
2022-11-18 22:01:57
572
2
原创 《深度学习进阶 自然语言处理》第六章：LSTM介绍
本章的主题是Gated RNN，我们先指出上一章的简单RNN中存在的梯度消失/爆炸问题，说明了作为替代层的Grated RNN（LSTM、GRU等）的有效性。介绍了使用LSTM层创建的语言模型，以及模型的优化。
2022-11-18 17:46:49
1156
原创 《深度学习进阶 自然语言处理》第四章：Embedding层和负采样介绍
本文重点讲述如何加速word2vec的计算。主要有两点改进方式：引入Embedding层，以及引入Negative Sampling（负采样）的损失函数。
2022-11-16 20:49:08
457
原创 《深度学习进阶 自然语言处理》第三章：word2vec
本章我们详细解释了 word2vec 的 CBOW 模型，（具体实现可以参考书中代码）。CBOW模型基本上是一个2层的神经网络，结构非常简单。
2022-11-09 19:23:00
1116
转载 《深度学习进阶 自然语言处理》第二章：自然语言和单词的分布式表示
本章开始介绍自然语言处理相关的知识。自然语言处理的根本任务是让计算机理解我们的语言，我们在此先介绍深度学习出现之前的古典方法，是如何实现自然语言处理的。
2022-11-08 18:46:53
119
原创 《深度学习进阶 自然语言处理》第一章：神经网络的复习
关于本书第一章内容，主要是对《深度学习入门：基于Python的理论与实现》一书的精炼性概括。如果你已经在AI领域入门，并且有一定的理论基础，那么也可以通过这一章节快速对一些基础知识进行复习，方便后面更加高效的学习。
2022-11-07 19:51:15
1263
转载 《深度学习进阶 自然语言处理》书籍介绍
前面几篇文章介绍了图灵《深度学习入门》一书，接下来将继续带读作者的另一书籍：《深度学习进阶 自然语言处理》。
2022-11-07 19:43:14
116
原创 RoBERTa：一种稳健优化BERT的预训练方法
语言模型的预训练带来了显著的性能提高，但比较不同的方法具有一定的挑战性。因为其训练的计算成本很高，同时不同的模型通常又是在不同规模的私有数据集上进行的，而且超参数选择也会对最终结果有重大影响。我们提出了BERT预训练的研究(Devlin等人，2019年)，测量了许多关键超参数和训练数据大小的影响。在实验中，发现了BERT模型的一些问题，同时提出一种新的模型，这种模型可以匹配或超过BERT后发布的每一个模型的性能，即roberta。
2022-11-03 22:38:55
548
原创 NLP比赛利器：DeBERTa系列模型介绍
DeBERTa（Decoding-enhanced BERT with disentangled attention）模型是微软在2021年提出的，到现在其实已经迭代了三个版本，第一版发布的时候在SuperGLUE[1]DeBERTa（Decoding-enhanced BERT with disentangled attention）模型是微软在2021年提出的，到现在其实已经迭代了三个版本，第一版发布的时候在SuperGLUE[1]排行榜上就已经获得了超越人类的水平。目前，一些比较有挑战的NLP任务，甚
2022-10-23 23:49:05
1183
原创 BERT之后，NLP主要预训练模型演变梳理
本文旨在梳理基于BERT模型优化后部分预训练模型，以便读者能够更快掌握BERT相关内容，为后期工作中使用BERT相关模型提供便捷性。
2022-10-19 00:00:55
754
转载 《深度学习入门-基于Python的理论与实现》第八章带读 -- 深度学习的高速化
《深度学习入门-基于Python的理论与实现》第八章带读 – 深度学习的高速化文章目录《深度学习入门-基于Python的理论与实现》第八章带读 -- 深度学习的高速化@[toc]8.1 深度学习的高速化a. 需要解决的问题b. 基于GPU的高速化c. 分布式学习d. 运算精度的位数缩减8.2 总结开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实现》第一章带读第二章：《深度学习入门-基于Python的理论与实现》第二章带读 – 感知
2022-05-05 19:01:05
99
原创 《深度学习入门-基于Python的理论与实现》第七章带读 -- CNN介绍
《深度学习入门-基于Python的理论与实现》第七章带读 – CNN介绍文章目录《深度学习入门-基于Python的理论与实现》第七章带读 -- CNN介绍@[toc]7.1 整体结构7.2 卷积层a.全连接层存在的问题b.卷积运算c.填充d.步幅e.三维数组的卷积运算7.3 池化层a.池化层的介绍b.池化层的特征7.4 具有代表性的CNN网络a.LeNetb.AlexNet7.5 小结开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实
2022-05-05 18:57:23
1357
原创 执行curl安装命令时候提示：https not supported or disabled in libcurl
curl:https not supported or disabled in libcurl解决方案：执行curl命令安装https内容时候，报错如上内容。原因：说明curl版本不支持https或者是https证书有问题。解决方案：1）用yum install curl 重新安装一下.2）在~/.bashrc文件末尾添加export PATH=~/.jumbo/bin:$PATH，执行source ~/.bashrc 再重新执行下安装命令。...
2022-04-29 10:34:55
755
原创 《深度学习入门-基于Python的理论与实现》第六章带读 -- 训练方法介绍
文章目录6.1 权重参数的更新a. SGDb. Momentumc. AdaGradd. Adam6.2 权重参数的初始值a. 为什么要初始化权重b. 初始值可以设为0吗c. 隐藏层的激活值分布d. ReLU的权重初始值6.3 Batch Normalizationa. 优点b. 算法6.4 正则化a. 过拟合b. 权值衰减c. Dropout6.5 超参数的验证a. 验证数据b. 超参数的最优化6.6 总结开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于.
2022-04-26 21:06:29
2199
原创 《深度学习入门-基于Python的理论与实现》第五章带读 -- 误差反向传播
文章目录@[toc]5.1 计算图介绍5.2 链式法则5.3 反向传播a. 加法节点的反向传播b. 乘法节点的反向传播5.4 不同层中误差反向传播介绍a. 激活函数-ReLU层b. 激活函数-Sigmoid层c. Affine层d. Softmax-with-Loss层5.5 神经网络学习全貌图（包含反向传播版）开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实现》第一章带读第二章：《深度学习入门-基于Python的理论与实现》第二章.
2022-04-26 07:30:00
263
原创 《深度学习入门-基于Python的理论与实现》第四章带读 – 神经网络的学习
文章目录4.1 从数据中学习4.2 损失函数a.均方误差b.交叉熵误差c.mini-batch学习d.为何要设定损失函数4.3 梯度梯度法4.4 神经网络的学习步骤开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实现》第一章带读第二章：《深度学习入门-基于Python的理论与实现》第二章带读 – 感知机第三章：深度学习入门-基于Python的理论与实现》第三章带读 – 神经网络上一章我们介绍了什么是神经网络，本章我们接着介绍.
2022-04-25 19:37:18
2861
3
原创 《深度学习入门-基于Python的理论与实现》第三章带读 -- 神经网络
文章目录3.1 从感知机到神经网络3.2 激活函数a.阶跃函数b.sigmoid函数c.ReLU函数3.3 多维数组运算3.4 三层神经网络实现3.5 输出层的设计softmax函数3.6 小结开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实现》第一章带读第二章：《深度学习入门-基于Python的理论与实现》第二章带读 – 感知机本章介绍的神经网络和前面章节所讲的感知机有很多共同点，关于神经网络可以对比感知机进行学习。3..
2022-04-25 08:00:00
246
原创 《深度学习入门-基于Python的理论与实现》第二章带读 -- 感知机
开篇介绍：《深度学习入门-基于Python的理论与实现》书籍介绍第一章：《深度学习入门-基于Python的理论与实现》第一章带读文章构成：感知机是什么感知机构建逻辑电路感知机的局限性多层感知机1.感知机是什么感知机（perceptron）是由美国学者Frank Rosenblatt在1957年提出。市面上的深度学习相关书籍常把感知机的学习放在最开始章节，是因为感知机是神经网络的起源算法。感知机接收多个输入信号（x1、x2 …），输出一个信号（只有1/0两种取值）。不同的输入信号..
2022-04-24 20:04:03
1683
原创 《深度学习入门 基于Python的理论与实现》第一章带读
上一篇文章地址：《深度学习入门-基于Python的理论与实现》书籍介绍该章节主要介绍了Python基础内容，从Python的安装到Python基础的语法介绍，再到机器学习、深度学习中常用库：Numpy、Matplotlib的介绍。如果你之前已经对Python熟悉，本章可以选读，如果之前完全没有接触过Python，建议在该章节学习的同时再找其他Python入门资料学习，可参考文章末尾【拓展学习链接】。在学习之前，首先了解一下到底什么是Python，其是一种简单、开源的编程语言，在机器学习、数据科学领域.
2022-04-16 16:35:47
1298
原创 《深度学习入门-基于Python的理论与实现》书籍介绍
《深度学习入门 基于Python的理论实现》系列专题旨在帮助意向学习AI的同学降低入门门槛，同时也可以让目前处于AI行业的小伙伴对基础知识做一个回顾、梳理。
2022-04-16 16:26:24
1398
原创 curl error while loading shared libraries libcrypto.so.1.0.0 解决方案
curl: error while loading shared libraries: libcrypto.so.1.0.0 解决方案1 问题描述执行curl命令的时候，报错如下信息：curl: error while loading shared libraries: libcrypto.so.1.0.0: cannot open shared object file: No such file or directory报错信息：在网上查找各种方案，主要有如下几种：1.重新安装cur
2021-11-26 19:11:18
3278
3
原创 DeepFM介绍
DeepFM在前面一篇文章中提到，目前遇到特征组合的问题，主流做法主要会分成两类：FM系列、DNN系列。关于DNN相关内容，是深度学习基础知识，本处不展开介绍，直接使用。本文主要介绍FM+DNN的结合体：DeepFM相关内容。文章依旧主要从三方面展开对FM算法介绍When – 什么时候需要考虑DeepFM算法What – 究竟什么是DeepFM算法How – DeepFM怎么使用1. When什么时候需要考虑DeepFM基于CTR预估的推荐系统，究其根本，其实是学习到用户
2021-11-10 19:10:47
1628
原创 markdown常见数学公式
1.行内与独行行内公式：将公式插入到本行内，符号：$公式内容$，如：xyzxyzxyz独行公式：将公式插入到新的一行内，并且居中，符号：$$公式内容$$，如：xyzxyzxyz2.上标、下标与组合上标符号，符号：^，如：x4x^4x4下标符号，符号：_，如：x1x_1x1组合符号，符号：{}，如：168O2+2{16}_{8}O{2+}_{2}168O2+23.汉字、字体与格式汉字形式，符号：\mbox{}，如：KaTeX parse error: Undefined con
2021-11-08 19:25:01
225
原创 因子分解机（Factorization Machines）
因子分解机（Factorization Machines）在推荐系统中，CTR（click-through rate）预估是非常重要的环节，其主要是用于判断一个商品是否被用于推荐。谈到CTR预估，有一个算法不得不提一下，LR（logistic regression）逻辑回归。在推荐系统发展的历史长河中，LR绝对有浓墨重彩的一笔。比如在2020年和微博做算法的同学交流，对方称他们依旧在推荐中使用LR，当然这离不开其非常容易实现大规模实时并行处理的优势。我们知道LR模型其实是一种线性的学习模型，所以它并
2021-11-08 19:17:48
895
原创 python 中 os._exit()， sys.exit()， exit() 的区别是什么？
python 中 os._exit()， sys.exit()， exit() 的区别是什么？1. sys.exit(n)退出程序引发SystemExit异常, 可以捕获异常执行些清理工作.如果有捕获该异常的代码，那么后面的代码还是会执行。一般主程序中使用此退出。举例： import sys try: sys.exit(0) except: print("异常捕获") # 可以执行print语句，因为sys.exit()调用出现了异常
2021-11-05 15:58:15
198
原创 tmux命令总结
tmux命令总结tmux主要用于解决需要在终端中开启多个窗口，频繁切换的问题。1. 是什么tmux即terminal multiplexer（终端复用器），它可以启动一系列终端会话。它解绑了会话和终端窗口。关闭终端窗口再打开，会话并不终止，而是继续运行再执行。将会话与终端窗后彻底分离。2. 怎么用2.1 安装安装：yum install tmux2.2 入门运行tmux：# tmux新建会话： # tmux new -s SESSION-NAME查看已创建的会
2021-05-18 20:22:52
316
原创 No matching distribution found for tensorflow==2.1.0
问题描述：最近重新整理了环境，在安装tensorflow,hanlp包的过程中，报出如下类似错误：经过各方求助，最后发现是自己在安装过程中，最近把pyhton更新到3.8，但是Python3.8仅仅支持2.2.0，导致无法安装成功TensorFlow2.1.0.解决方案：把Python3.8版本回退到稳定版本的Python3.7就OK。...
2020-05-08 19:28:24
6671
1
原创 集成学习 -- Bagging和随机森林(二)
1 Bagging集成原理目标：把下面的圈和方块进行分类实现过程：采样不同数据集2)训练分类器3)平权投票，获取最终结果4)主要实现过程小结2 随机森林构造过程在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林 = Bagging + 决策树例如, 如果你训练了5个树, 其中有...
2020-04-20 18:12:34
268
1
原创 集成学习 -- 概述（一）
1 什么是集成学习集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。2 复习：机器学习的两个核心任务任务一：如何优化训练数据 —> 主要用于解决欠拟合问题任务二：如何提升泛化性能 —> 主要用于解决过拟合问题集成学习的目的就是用于解决上面提出的两个问题。...
2020-04-20 18:04:11
239
空空如也
redis开启服务器的时候，无法开启，遇到如下问题
2017-10-06
pycharm执行Python中遇到的问题
2017-10-06
python 中异常部分的raise问题
2017-10-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人