- 博客(20)
- 收藏
- 关注
RSS订阅原创 RocketMQ生产者消息发送出去了，消费者一直接收不到怎么办？（Rocket MQ订阅关系一致性）
rocketMQ消费者消费不到消息问题解决
2023-10-31 22:29:30
2711
2
原创 通过实现HandlerInterceptor接口实现一个拦截器
通过实现InterceptorHandler接口方式实现spring拦截器，完成登陆鉴权
2023-09-22 15:09:07
231
原创 集群定时任务单点控制解决方案(分布式锁+续期锁解决方案)
1. 业务需求描述开发过程中有一个这样的需求: 集群环境中有一些Spring定时任务, 这些定时任务大概每分钟汇总生成一些日志数据, 但是我们只想让集群中其中一台服务器执行, 设计一个高性能,并且高稳定性的执行框架. (具体业务涉及到一些公司内部的商业问题, 因此这里不做过多的详细描述)2. 设计方案思考思考问题1：首先集群单点控制, 这显然是一个资源的竞争问题. 集群中控制资源竞争通常使用分布式锁，借助的中间件往往是redis或者是zookeeper。本次开发中...
2021-09-05 15:31:35
860
原创 手撕强化学习: Policy Gradient算法实现
Policy Gradient算法pytorch实现策略梯度是典型的on-policy的学习方式, 通过智能体与环境的交互实现自主学习. 其流程大致如下图所示.#mermaid-svg-0QTCGCECBnYroheS .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-0QTCGCECBnYroheS .lab
2021-04-20 16:43:40
499
原创 PyTorch网络权值初始化的几种方式
PyTorch网络权值初始化的几种方式pytorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。介绍分两部分：Xavier，kaiming系列；其他方法分布Xavier初始化方法，论文在Understanding the difficulty of training deep feedforward neural networks.公式推导是从“方差一致性”出发，初始化的分布有均匀分布和正态分布两种。1. Xavier均匀分布torch.nn.i
2021-04-18 19:23:56
1346
原创 2. 强化学习篇：Deep Successor Representation(DSR) (完善中...）
DSR学习笔记及试验主要参考文献： [1] Gershman, Samuel J. "The successor representation: its computational logic and neural substrates."Journal of Neuroscience38.33 (2018): 7193-7200. [2]Kulkarni, Tejas D., et al. "Deep successor reinforcement learning."arX...
2020-11-28 22:11:05
893
原创 1. 强化学习篇: Dyna-Q
像之前我们讨论的大量强化学习方法（DQN, Double DQN, Priorized DQN, Policy Gradient, PPO等等）都是基于model-free的，这也是RL学习的主要优势之一，因为大部分情况下agent所处的环境会非常复杂，很难获得一个model。但是如果我们想学习一个environment模型，或者说是我们已经有一个environment模型，该如何利用这个environment来加快阿agent学习进程？这篇文章就一起探讨下学习处RL的environment模型。文章主要从
2020-11-26 23:16:27
5852
原创 深度学习笔记-tf.GradientTape用法详解
TensorFlow GradientTap 用法详解最近看到莫凡老师上传的GAN相关的代码时, 发现莫凡老师写的GAN网络的代码使用了tf.GradientType()进行先计算模型的梯度,然后利用优化器的apply_gradients()方法进行训练优化,于是查了一下相应的api总结出了此篇文档.简单的梯度计算import tensorflow as tfx = tf.Variable(3.)with tf.GradientTape() as tape: tape.watch(x)
2020-10-23 14:17:12
7550
1
原创 Java虚拟机原理--java自动内存管理机制
Java虚拟机原理–java自动内存管理机制1. Java虚拟机原理所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为系统虚拟机和程序虚拟机， 大名鼎鼎的Visual Box、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真，提供了一个可以运行完整操作系统的软件平台。程序虚拟机典型代码就是Java虚拟机，它专门为执行单个计算程序而计算，在J...
2019-05-05 21:19:23
174
原创 Debian || Ubuntu编译安装OpenCV(Only C++ without Python!)
Debian源码编译安装OpenCV C++版本Only compile opencv c++, without python and java.first step: install dependency.sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-conf...
2019-04-20 00:33:51
935
原创 文本分类.Text classifier
对于一些标点符号，停用词这些信息对于我们对语义分析基本上没什么作用，比如“一个苹果”和“一些苹果”说的都是苹果，即使没有这些停用词，我们说的还是苹果。因此停用词我们可以直接给丢弃掉。计算向量相似度：http://blog.christianperone.com/2013/09/machine-learning-cosine-similarity-for-vector-spac...
2018-12-25 23:26:13
1039
原创 NLP-1:语言模型
在自然语言处理（NLP）领域，我们通常第一步是词向量转换，例如对于一个语句：“我今天下午打篮球”，首先我们需要进行分词处理：“我 今天 下午 打 篮球”令 = "我" = "今天" = "下午" = "打" = "篮球"1.普通语言模型定义语言模型：优化P(s)达到最大。普通语言模型存在的问题：1.参数空间太大2.数据过于稀疏...
2018-12-22 14:07:57
249
原创 操作系统时间片轮回算法+优先级调度算法python实现
# priority algorithm.优先级调度算法 + 时间片轮回算法python实现from collections import dequeimport timeimport randomclass PCB: def __init__(self, priority, hold_time, come_time, status = 0): """ ...
2018-11-27 17:28:49
3622
原创 3种softmax函数python实现方式（显式循环，向量，矩阵）
Python三种方式实现Softmax损失函数计算python实现的softmax损失函数代码，我们先回顾一下softmax损失函数的定义：其中右边一项为第y=j项的概率值。令J(w) = log(J(w)):损失函数的梯度： import numpy as np""" 第一种计算softmax_loss, 在计算每一分类的概率时，用到了矩阵运算。""...
2018-11-25 16:40:58
4814
2
原创 深度学习正则化-参数范数惩罚（L1,L2范数）
L0范数惩罚机器学习中最常用的正则化措施是限制模型的能力，其中最著名的方法就是L1和L2范数惩罚。 假如我们需要拟合一批二次函数分布的数据，但我们并不知道数据的分布规律，我们可能会先使用一次函数去拟合，再使用二次函数、三次、四次、等等次数的函数去拟合，从中选择拟合效果最好的一个函数来作为我们最终的模型。 上面的方法未免显得有些太繁琐，如果有一批数据输入指数为...
2018-11-24 20:25:11
10539
3
原创 关于Softmax函数
定义评分函数： 我们定义归一化概率： 将（1）式和（2）式整合以下，我们有：其中m表示数据xde 维度， n代表输出分类数据z的维度，即：分类的种类数。2.SoftMax 上述表达式还缺点东西，因为我们想要的预测比分尽可能的高，...
2018-11-22 19:02:57
1741
原创 机器学习&深度学习优化算法
梯度下降算法1.给定数据集X = {}, 数据标记为：Y = {} 学习器：, 学习率：。 for { } 2.批量梯度下降算法（BGD）批量梯度下降算法又称之为最速梯度下降，这里的“批量”指的是全部一起处理的意思。2.给定数据集X = {}, 数据标记为：Y = {} 学习器：, 学习率：。 for ...
2018-11-21 21:44:39
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人