- 博客(40)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 手搓GPT系列之 - 通过理解LSTM的反向传播过程，理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式，配超多图帮助理解（下篇）
本文继续就Sepp Hochreiter 1997年的开山大作 Long Short-term Memory 中APPENDIX A.1和A.2所载的数学推导过程进行详细解读。希望可以帮助大家理解了这个推导过程，进而能顺利理解为什么那几个门的设置可以解决RNN里的梯度消失和梯度爆炸的问题。中篇介绍了各个权重的误差更新算法。本篇将继续说明梯度信息在LSTM的记忆单元中经过一定的时间步之后如何变化，并由此证明LSTM可实现CEC（Constant Error Carousel）。本篇为整个文章最关键一篇。
2023-07-03 01:53:12
2509
4
原创 手搓GPT系列之 - 通过理解LSTM的反向传播过程，理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式，配超多图帮助理解（中篇）
本文承接上篇，继续就Sepp Hochreiter 1997年的开山大作 Long Short-term Memory 中APPENDIX A.1和A.2所载的数学推导过程进行详细解读。希望可以帮助大家理解了这个推导过程，进而能顺利理解为什么那几个门的设置可以解决RNN里的梯度消失和梯度爆炸的问题。
2023-06-27 17:49:21
2542
6
原创 关闭nginx容器之后，再次启动，原来宿主机映射的端口失效的问题解决
最近用containerd在部署nginx的时候，发生了一个比较诡异的问题，当笔者通过nerdctl stop把原来的nginx容器关闭，然后再通过nerdctl run启动一个新的nginx容器的时候，把原来的宿主机端口映射到这个新容器上，但新启动的容器却无法通过映射的端口收到任何请求，而且新容器启动顺利，没有任何报错。这个问题的原因十分隐蔽，而且一开始让人无从下手。本文介绍了这个问题的解决办法，为被该问题困扰的同学提供一个脱困的思路。
2023-06-10 22:14:22
1362
原创 使用nginx提供https端点，实现不修改浏览器地址（不触发重定向）转发网络流量，附生成自签ssl证书最简单的方法（2个命令）
近日笔者需要实现一个网络流量转发的需求。要求很简单：将浏览器的请求转发到一个指定的域名，需要提供一个https端口并且把http端口转发到https端口。由于笔者对nginx的认知有限，因此磕磕绊绊研究了一阵，将结果写出来，以供其他有类似需求的同学参考对照。
2023-06-10 17:55:20
1774
原创 k8s + containerd下，容器启动时报错 failed to create shim task, incompatible CNI versions 问题解决
详实介绍在containerd环境中运行容器遇到错误Incompatible CNI versions。错误消息incompatible CNI versions; config is \"1.0.0\", plugin supports [\"0.1.0\" \"0.2.0\" \"0.3.0\" \"0.3.1\" \"0.4.0\"]时的解决办法。帮助遇到相同问题的读者解决此类问题。
2023-06-10 12:23:32
866
原创 手搓GPT系列之 - 通过理解LSTM的反向传播过程，理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式，配超多图帮助理解（上篇）
说起RNN和LSTM，就绕不过Sepp Hochreiter 1997年的开山大作 Long Short-term Memory。奈何这篇文章写的实在是太劝退，网上很多介绍LSTM的文章都对这个模型反向传播的部分避重就轻，更少见（反正我没找到）有人解析APPENDIX A.1和A.2所写的详细推导过程。笔者向来做事讲究个从心，这次不知道哪根弦打错竟然头铁硬刚这个推导过程。本文逐条参照原论文中的公式，记录整个推导过程的思路和笔者的理解，并配上超多图帮助理解。
2023-05-14 23:16:52
810
3
原创 手搓GPT系列之 - chatgpt + langchain 实现一个书本解读机器人
本文将给大家介绍一款基于大模型的应用框架：langchain。langchain集成了做一个基于大模型应用所需的一切。熟悉java web应用的同学们应该十分熟悉spring boot框架，我们可以说langchain 就是大语言模型应用方面的spring boot。本文将为大语言模型应用的开发者们提供一个基于langchain的示例项目，便于大家进一步提升prompt engineering的效能。
2023-05-01 01:00:34
6400
原创 手搓GPT系列之 - RNN网络模型与隐马尔科夫链（HMC）模型的表达力（expressivity）关系
RNN模型和HMC模型，都是适合处理时间序列的模型。这两者在结构上具有一定的相似性。笔者在学习这两个模型的时候，对他们之间的关系非常感兴趣，但是却一度十分困惑：它们之间是否存在可互相表示的关系？哪一个的通用性更强？答案其实大家心里都有了吧，只是缺了一个严格的证明。本文将为机器学习算法领域的爱好者证明一个大家都知道的事情：可以用经典RNN网络模型来表达隐马尔科夫链模型。
2023-04-23 20:24:14
416
原创 手搓GPT系列之 - 后向传播，计算图，目标函数
本问将介绍神经网络中后向传播的机制和基本原理。详细解析在后向传播过程中，计算图的生成，以及如何在计算图中应用链式规则实现自动求导的机制，并介绍了价值函数（又称损失函数）在后向传播过程中的作用。适合初步了解神经网络基本概念的同学进一步理解神经网络参数优化的过程。
2023-04-15 21:40:50
278
原创 手搓GPT系列之 - Logistic Regression模型，Softmax模型的损失函数与CrossEntropyLoss的关系
笔者在学习各种分类模型和损失函数的时候发现了一个问题，类似于Logistic Regression模型和Softmax模型，目标函数都是根据最大似然公式推出来的，但是在使用pytorch进行编码的时候，却发现根本就没有提供softmax之类的损失函数，而提供了CrossEntropyLoss，MSELoss之类的。本文将介绍我们在学习LR模型和Softmax模型的时候接触到的目标函数，与实际应用中的经常用到的CrossEntropyLoss函数之间的关系。
2023-04-15 11:51:46
771
原创 手搓GPT系列之 - 神经网络模型基础知识，教你5分钟实现一个手写体识别神经网络
2023年了nlp还存不存在我不知道，数学家的思想真的有意思。介绍了线性回归分类器和softmax分类器，并证明了softmax分类器是由线性回归分类器并联而成的。本文将介绍以LR模型为基础的另一个分类器：神经网络。我们将介绍神经网络模型中的一些核心概念和训练过程，并介绍神经网络模型与LR模型及softmax模型的关系。可以帮助机器学习领域的初学者对神经网络模型建立一个基本的认知。
2023-04-11 13:39:04
791
原创 手搓GPT系列之 - 线性回归与softmax分类器，从理论到实战
NLP还存不存在我不知道，但数学之美一直都在。线性回归是机器学习中非常重要的一个砖块，我们将介绍线性回归和softmax分类器的数学原理及其内在关联。既是对自己学习成果的一种记录，如果能够对别人有所帮助那真是让人开心。
2023-04-05 00:09:07
642
原创 手搓GPT系列之 - 如何理解logit函数
如何理解logit公式？为什么叫这个名字呢？有些人说logit公式就是神经网络中未经过连接函数（一般为sigmoid函数）处理过的函数。这些说法也不错，不过还没到点上，我们在这里说明一下为什么这个公式叫logit公式。
2023-04-04 23:57:37
724
原创 手搓GPT系列之：单词向量（Word Vectors）的基本原理
前面一篇文章介绍了通过gensim操作单词向量的demo，有兴趣的同学可以移步这里。这一篇将给大家介绍该算法背后的原理。
2023-03-20 12:45:14
1045
1
原创 手搓GPT系列之：单词向量（word vector）初体验
单词向量，指的是把每个单词表示为一个高维的实数向量（通常为100维到300维之间）。这些向量用来对词义（word meaning）进行建模。我们可以通过对比不同单词之间单词向量的距离，来表示这些单词在训练语料中的关系。
2023-03-19 01:06:03
425
原创 Resilience4j系列 - 使用Resilience4j-circuitbreaker优雅实现服务降级
通过实战的方式，逐步介绍在springboot项目中集成resilience4j-circuitbreaker的详细步骤。
2022-01-29 00:19:28
3218
原创 Resilience4j系列 - 使用Resilience4j-Retry实现优雅重试
以实战的方式，逐步介绍使用resilience4j-Retry框架实现关键代码的优雅重试。
2022-01-27 23:58:25
1844
原创 Resilience4j系列 - springboot项目使用RateLimiter实战
以实战的方式，逐步介绍在springboot项目中集成resilience4j ratelimiter，实现流控功能。
2022-01-21 21:57:24
1238
原创 通过kubeadm join 为k8s集群增加节点出错 couldn‘t validate the identity of the API Server
通过kubeadm join 为k8s集群增加节点出错 couldn't validate the identity of the API Server: could not find a JWS signature in the cluster-info ConfigMap for token ID "xxxxx" 的解决办法。
2022-01-16 16:11:36
3919
原创 误用redis cluster forget删除节点，如何把节点加回来？【详细步骤】
通过实战的方式，介绍在误用redis cluster forget删除节点的情况下，如何把节点加回来的详细步骤。
2021-12-28 11:43:21
1634
原创 Redis cluster reshard操作失败，[WARNING] The following slots are open: xxxx问题如何恢复？【详细步骤】
以实战的方式，逐步说明在reshard redis cluster 的时候中途出现错误导致reshard失败，应该如何恢复的详细操作步骤。
2021-12-28 11:33:24
2763
原创 通过cluster reshard实现Redis集群缩减节点实战【详细步骤】
以实战方式，逐步介绍通过redis reshard功能进行redis节点缩减的详细步骤
2021-12-28 09:02:20
2289
1
原创 访问k8s集群出现Unable to connect to the server: x509: certificate is valid for xxx, not xxx问题解决【详细步骤】
访问k8s集群出现Unable to connect to the server: x509: certificate is valid for xxx, not xxx问题解决
2021-12-27 10:44:55
9005
1
原创 kubectl describe pod 里边没有看到events问题解决【详细步骤】
解决kubectl describe pod 里边没有看到events问题。
2021-12-25 23:39:54
9276
原创 通过Flink实现Cassandra数据同步到redis缓存实战之二：Flink任务的定时提交
把flink项目打包上传到flink job manager服务器上之后，还需要解决一个任务定时运行的问题。本文将介绍一个定时提交flink任务的解决方案。
2020-07-11 18:21:41
986
4
原创 通过Flink实现Cassandra数据同步到redis缓存实战之三：异常处理
接着上一篇文章《Cassandra数据同步到redis缓存实战之一 数据同步》所介绍的数据同步操作。本文将介绍针对这种操作过程中，出现的各种异常和错误的处理方法。
2020-07-11 16:56:25
479
原创 通过Flink实现Cassandra数据同步到redis缓存实战之四：幂等性！幂等性！幂等性！Redis缓存数据幂等性设计
将数据保存到Redis的过程中，可能会发生各种异常，包括redis集群挂掉、redis连接错误、redis写入错误等。面向失败设计思想的一个重要的最佳实践，就是保证数据幂等性。允许失败的时候进行重试。所以在设计redis key的时候，需要重点考虑这个问题。从cassandra中提取到的同一条数据，在写入到redis的时候，必须拥有一个唯一的键，保证无论这个数据被重复写入多少次，redis中永远只有一个记录。本文将介绍几种幂等键的设计思路。
2020-07-11 16:08:31
616
原创 通过Flink实现Cassandra数据同步到redis缓存实战之一：数据同步任务的实现
Cassandra是一种适用于写多读少场景的分布式数据库。当我们需要将cassandra中的数据进行大量读取操作的时候，我们不可以将大量的读取操作直接打到cassandra数据库，而是需要将cassandra中的数据同步到redis，然后从redis读取。这样可以大大提高系统的效率。本文提供一种在cassandra和redis之间进行数据同步的实战操作，希望对读者有所帮助。
2020-07-06 23:58:04
1016
原创 Flink项目中使用redisCluster时，发生java.lang.NumberFormatException: For input string 7005@17005异常的解决办法
问题描述：今天在我的一个Flink项目中，需要用到redisCluster连接redis集群。我的项目是用maven进行自动化构建，原先的maven依赖长这样：<!-- redis --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-redis_${scala.binary.version}</artifactId>
2020-06-13 18:20:35
589
2
原创 python中使用redis集群
python中使用redis集群在python中导入 redis-py-cluster时，时没办法使用StrictRedisCluster，如何解决呢？在python中导入 redis-py-cluster时，时没办法使用StrictRedisCluster，如何解决呢？1、卸载原来的redis和redis-py-cluster包：pip uninstall redis-py-clusterpip uninstall redis2、安装指定版本的redis和redis-py-cluster:pi
2020-06-01 11:00:51
304
原创 互联网公司项目部门的组织变革目标
【背景】我现在所在的公司，有一个由项目经理组成的部门，称为项目部。这个部门专门负责管理和协调公司产品的实施落地项目。该部门除了项目经理外，还设置一个项目总监的职位，用于对该部门的事务进行综合管理。我认为：项目部门的组织变革的方向，应该是朝着曾强项目经理权责，削弱或取消当前项目总监的项目业务管理功能，并曾强项目总监的跨团队、跨层级沟通功能。也就是说，应该朝着项目经理管业务，项目总监管政治的方向走...
2018-10-28 00:35:42
402
CentOS-7-x86_64-NetInstall-2003.iso
2020-07-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人