- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 go atomic原子操作详细解读
修改完成后，缓存行为修改状态，其他核心的该缓存行为无效状态，此时若有核心读取该缓存行，就将缓存行写入内存，该核心上的缓存行状态更新为共享；atmoic包怎么用？以加法为例，变量加法运算操作并不是原子性的，包括从内存中取值放入加法寄存器、寄存器运算得到结果、将结果写回内存，在并发环境下，一个协程的运算结果可能被另一个覆盖，从而导致丢失修改的问题，例如以下代码的最后打印结果不会是10000。总的逻辑是，当一个核心读取内存中数据在自己的本地缓存中并且只有该核心的缓存拥有该缓存行，这个缓存行的状态为。
2023-08-18 14:29:23
1631
原创 kafka基础
kafka是一个消息队列的中间件，那什么是消息队列？生产者：负责生产消息，将消息发送给broker，是全部消息的发起者。broker：是消息的服务端，负责消息的存储、投递等功能，是最核心的部分。消费者：负责消息的消费，根据消息承载的信息处理对应逻辑。它的应用场景有：消息的异步处理：比如用户注册发送验证码，服务端只需要把协商好的消息发送至消息队列，不需要等待消费者回应，让消费者在空闲时去消息队列读取消息进行消费即可。
2023-06-23 16:32:03
1154
原创 通过源码详解协程并发控制包go context
Context是go语言用于上下文管理的包，主要用于携程间的上下文管理，控制携程按时或者按时间取消执行。多个Context按树形或者链表的结果向前连接。Context是一个接口类型，实现了接口下的方法的类型，都可以认为是Context类型。包括emptyCtx、valueCtx、cancelCtx、timerCtx，它们是Context的具体实现。emptyCtx是一个空的Context，不能存储数据。常用作Context树的根节点。valueCtx是用来存储键值对数据的Context。
2023-06-23 16:30:02
807
原创 雪花算法原理
雪花算法是分布式系统用来生成ID算法。雪花算法生成的ID是64比特的整型数字，包括了时间戳、机器ID、序列号。时间戳是毫秒级的，机器ID是当前服务器的ID编号（最多1024），序列号是同一毫秒内生成的ID（同一毫秒内最多生成4096个）。注意：雪花算法严重依赖机器的时间，如果机器时间出现问题，导致回拨，也就是时间回退了，那么可能出现生成ID和以前重复的问题。
2023-06-15 14:42:20
240
原创 go字符串详解
go字符串结构体包含：指向底层存储数组的指针、字符串长度。字符串按utf-8将字符编码成二进制数，然后存储在byte数组中。因为utf-8编码一个字符可能占用多个字节，例如一个汉字占3个字节，所以字符串中的一个字符可能对应byte数组中的多个元素。为了让一个字符对应数组的一个元素以便于处理，go设计了rune类型，其底层是int32，四个字节，正好能存储最大四个字节utf-8编码数据。
2023-06-14 20:13:00
1422
原创 Git基本使用
git是一个分布式版本控制工具，用户在本地使用git时，要注意有三个分区：工作区、暂存区、本地仓库。用户在工作区编写代码，编写完成后，可以添加至暂存区，当某一个模块功能开发完成，再从暂存区提交至本地仓库，当功能全部开发完成后（一般在分支上开发功能），即可提交至远程仓库。多个用户共同开发一个项目时，共同维护一个远程仓库。注意：暂存区存在的意义是为了保证commit时，是一个完整的干净清晰的提交，以方便查看和回滚。
2023-06-06 11:44:21
510
原创 Diffusion model—扩散模型
文章目录摘要一、简介二、扩散过程2.1 定义扩散过程2.2 重参数技巧得到迭代公式2.3 得到全局扩散公式2.4 扩散过程实现代码2.4.1 总结扩散公式2.4.2 代码三、逆扩散过程3.1 目标公式3.2 后验条件概率四、优化目标4.1 损失函数公式推导4.2 损失函数代码实现五、算法流程5.1 模型训练代码5.2 模型采样代码5.3 训练好的模型效果摘要The diffusion model is a generative model of the Encoder-Decoder architect
2022-06-13 22:44:21
22727
11
原创 GAN_Unet模型实现
文章目录摘要一、五种归一化1.1 Batch Normalization二、使用步骤总结摘要一、五种归一化1.1 Batch Normalization用batch内的均值和方差归一化对应batch内数据，其中均值和标准差通过batch内每个通道的维度分别计算得到的。nn.BatchNorm1d()的参数如下图：num_features: 输入张量的形状eps: 防止分母为0的偏执mementum: 滑动动量，滑动平均得到均值和方差affine: 为True则加入对应偏置ɤ、ß对处理
2022-05-30 11:42:30
5526
3
原创 Pytorch从0实现Transformer
文章目录摘要一、构造数据1.1 句子长度1.2 生成句子1.3 生成字典1.4 得到向量化的句子该阶段总程序二、位置编码2.1 计算括号内的值2.2 得到位置编码三、多头注意力3.1 self mask摘要With the continuous development of time series prediction, Transformer-like models have gradually replaced traditional models in the fields of CV and N
2022-05-15 23:00:20
1440
原创 阿里天池—2022江苏气象预测AI算法挑战赛
文章目录摘要一、数据分析二、MAE模型介绍总结摘要这是阿里天池正在进行的一个气象预测的比赛，选手需要根据过去的气象数据预测未来的气象数据；气象数据是以图片的形式给出的，其中包括雷达回波图、降雨量图、平均风图，故需要用到图像信息提取的技术；初步想法是通过MAE模型，预训练得到三个不同的Encoding和Decoder，这三个Encoding将会明白各自负责的图片数据含义，保持这三个Encoding的参数不变，在其后面接一个优化后的Transformer模型，Transformer模型将实现时序预测的功能，
2022-05-08 18:50:55
2746
5
原创 区块链系统运行逻辑
文章目录摘要一、总体结构二、使用步骤总结摘要优化了区块链后端代码：利用回调函数的技巧，将函数作为返回值，使同一个函数能够得到多次复用，提高了执行效率的同时将代码量减少了一半。咨询得知基于区块链做的后端服务器除了响应效率慢一点外，其性能应当是稳定的，而我现在做的后端服务器性能不稳定，添加或者查询数据的请求可能失败，一次请求的响应时间也常常需要7-8秒，没有实用价值，查看节点容器的日志发现在执行背书策略的时候，背书失败，检查指定的背书策略，采用的是最宽松的策略，只需要任一节点背书交易就能成功，没有问题，查
2022-04-24 21:53:13
6387
原创 基于区块链溯源系统后端开发
文章目录摘要一、程序各模块功能简介1.1 goSdk0_11.2 org_chaincode二、各接口功能详细介绍2.1 Generate（育种组织）2.1.1 添加数据2.1.2 查询数据(某只鸡最新的世界状态)2.1.3 溯源查询2.1.4 汇总查询2.1.5 注册2.1.6 登录2.2 Breed（养殖户组织）2.2.1 添加数据2.2.2 查询数据(某只鸡最新的世界状态)2.2.3 溯源查询2.2.4 汇总查询2.2.5 注册2.2.6 登录摘要已经完成了育种组织、养殖户组织、政府职能、普通用户
2022-04-17 23:07:39
7605
5
原创 WDK学习笔记_基于区块链溯源系统的后端接口开发
文章目录摘要一、fabric-go-sdk各个封装函数的功能介绍1.1 查询指定节点的指定链码是否已经存在二、使用步骤总结摘要一、fabric-go-sdk各个封装函数的功能介绍1.1 查询指定节点通道是否已经存在输入资源管理客户端、带查询节点域名、待查询通道，若该通道已存在，则返回true，负责返回false。func QuerySavedChannel(sourceClient *resmgmt.Client, info InfoSdk, c InstallCcInfo) (bool, er
2022-04-10 21:47:09
4872
原创 WDK学习笔记_docker容器客户端_fabric-go-sdk
文章目录摘要一、pandas是什么？二、使用步骤总结摘要一、pandas是什么？容器内创建通道：peer channel create -o orderer.trace.com:7050 --tls true --cafile /opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/ordererOrganizations/trace.com/msp/tlscacerts/tlsca.trace.com-cert.pem -c mycha
2022-04-03 22:10:32
4460
原创 WDK学习笔记_区块链项目实现_MAE
文章目录摘要项目：区块链溯源项目的实现1.1 证书配置文件二、使用步骤总结摘要项目：区块链溯源项目的实现1.1 证书配置文件排序节点域名：orderer.trace.com育种企业组织域名：generate.trace.com养殖户组织域名：breed.trace.com政府职能域名：government.trace.com用户域名：user.trace.com生产证书文件命令：cryptogen generate --config=./crypto-config.yaml二、使用步骤
2022-03-27 21:14:48
2932
原创 WDK_学习笔记_区块链+ViT和Swin transformer
文章目录摘要一、項目：Hyperledger-fabric技术的深入学习1.1 安装-2.2.0（只记录问题，其余按文档操作即可）二、使用步骤总结摘要一、項目：Hyperledger-fabric技术的深入学习重要参考资料：官方开发文档1.1 安装-2.2.0（只记录问题，其余按文档操作即可）通过查阅资料得知，以前安装的1.2.0版本过旧，参考资料缺失严重，而2.2.0是稳定版，官方提供了中文开发文档，和现有的go-sdk适配，故选择更新二、使用步骤总结...
2022-03-20 19:42:44
720
原创 WDK学习笔记—Gin框架_感知机
文章目录摘要一、Gin框架的使用初探1.1 下载框架1.2 导入框架1.3 基本使用”三步“1.4 一个小例子二、进阶之路总结摘要Gin框架Go语言中的框架，该框架是用来做后端服务器的。一、Gin框架的使用初探1.1 下载框架go get -u github.com/gin-gonic/gin1.2 导入框架import "github.com/gin-gonic/gin"1.3 基本使用”三步“创建路由r := gin.Default() //创建使用带有Logger和 Re
2022-02-20 20:20:58
611
原创 WDK学习笔记_Kaggle_Transformer_docker
文章目录摘要一、pandas是什么？二、使用步骤总结摘要一、pandas是什么？二、使用步骤总结
2022-01-09 11:38:36
954
原创 docker的常用命令
一、安装dockeryum包更新到最新yum update安装需要的软件包，yum-util提供yum-config-manager功能，另外两个是devicemapper驱动的依赖yum install -y yum-utils device-mapper-persistent-data lvm2设置yum安装源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.rep
2022-01-07 09:38:25
1455
原创 Go-Gorm-基本操作
文章目录摘要一、Gorm是什么？二、基本用法二、使用步骤总结摘要一、Gorm是什么？Gorm是go语言中操作mysql数据库的开发框架，该框架可以将程序中结构体的元素和mysql数据库键值对中的"键"绑定，让我们可以操作结构体将数据存入数据库。二、基本用法二、使用步骤总结...
2022-01-01 17:00:54
1980
原创 WDK学习笔记_Python操作MySql+Pytorch的LSTM使用
文章目录摘要一、pandas是什么？二、使用步骤总结摘要一、pandas是什么？1.1 卷积代码import torchfrom torch import nnfrom d2l import torch as d2ldef corr2d(X, K): #X是输入矩阵，K是卷积核矩阵 """计算二维互相关运算。""" h, w = K.shape #取出K的行列数 Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] -
2021-12-19 21:48:07
1494
2
原创 WDK学习笔记_Pytorch框架的使用
文章目录摘要一、数据处理1.1 Dataset的重载二、可视化总结摘要一、数据处理在Pytorch中，读取数据主要涉及两个类—Dataset和Dataloader：Dataset常用于文件中数据读取，读取每个数据及其对应的Label（标签)。Dataloader对Dataset读取的数据进行打包，分Batch送入神经网络。1.1 Dataset的重载创建类Mydataset，继承父类Dataset，重写初始化函数、__getitem__函数和__len__函数。下面代码的效果是，读取上一
2021-11-28 18:33:09
1303
原创 区块链智能合约语言—go语言的学习
文章目录摘要1、go语言的数据库编程2、go语言网络编程2.1 服务端2.2 客户端摘要本周在项目方面系统学习了go语言，智能合约是用go语言开发的，以太坊和超级账本系统也是用go语言编写的。主要学习了go语言的切片、指针、结构体、继承、并发、通道、网络编程、数据库编程，让我明白了go语言的优点，一个最显著的优点是go语言天生支持并发编程，使用关键字"go"即可创建一个goroutine，再创建通道，用通道作为载体就可实现多个处理单元共同完成一项任务，大大提高任务程序执行效率。1、go语言的数据库编
2021-11-08 12:17:16
12856
原创 WDK_基于Fabric的区块链系统开发
文章目录摘要一、pandas是什么？二、使用步骤总结摘要一、pandas是什么？progma solidity ^0.4.0 #要求源文件版本不低于0.4.0import "filename" #导入所有felename文件中的全局符号到当前全局作用域中import *as symbolName from "filename" #将filename中的全局符号，导入到symbolName中import {symbol1 as alias, symbol2} feom "filename" #
2021-10-23 18:02:26
13825
原创 WDK学习笔记第一周
文章目录摘要一、pandas是什么？二、使用步骤总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片创建一个表格如何创建一个注脚摘要一、pandas是什么？二、使用步骤总结欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展
2021-09-19 19:21:49
263
原创 WDK李宏毅学习笔记重点知识复习总结
李宏毅学习笔记复习总结文章目录李宏毅学习笔记复习总结摘要1、Regression（回归）和 Classification（分类）1.1 是什么1.2 怎么做2、Deep Learning2.1 是什么2.2 怎么做3、CNN（卷神经网络）3.1 是什么3.2 怎么做4、RNN4.1 是什么方法结论展望摘要1、Regression（回归）和 Classification（分类）1.1 是什么回归问题通常是预测一个值，预测的结果是连续的，例如预测房价，股票等，分类问题是预测事物的所属标签，预
2021-09-05 21:07:27
243
原创 WDK李宏毅学习笔记第二十周01_Deep Reinforcemen Learning
Deep Reinforcemen Learning文章目录Deep Reinforcemen Learning摘要前言1、Reinforcemen Learning(RL)是什么？1.1 RL的做法1.1.1 Function with Unknown1.1.2 Define"Loss"1.1.3 Optimization2、Policy Gradient2.1 How to control your actor2.2 Policy Gradient做法方法结论展望摘要前言1、R
2021-08-29 20:13:54
185
原创 WDK李宏毅学习笔记第十九周01_Life Long Learning
标题文章目录标题摘要1、Life-long Learning面临的问题2、使用步骤方法结论展望摘要1、Life-long Learning面临的问题Life-long Learning要做的在bu’wang’j2、使用步骤方法结论展望
2021-08-22 15:19:51
183
原创 WDK李宏毅学习笔记第十八周01_Meta learning-MAML and Gradient descent as LSTM
Meta learning文章目录Meta learning摘要前言1、Meta learning是什么2、Meta learning怎么做2.1 Meta Learning架构2.2 如何评价Learning Algorithm结论展望摘要前言1、Meta learning是什么Meta learning是让机器学习如何去学习，让机器可以从以往的学习中找到学习的经验，使得机器学习能力越来越强。以下图猫狗辨识为例，Meta learning是输入资料，输出F，F可以找到一个F
2021-08-15 20:52:16
464
原创 WDK李宏毅学习笔记第十七周02_Transfer Learning
Transfer Learning文章目录Transfer Learning摘要1、目的2、Transfer Learning-Overview3、source 和 target data都是有label的3.1 Model Fine-tuning3.2 Multitask Learning4、 Target data无label Source data有label4.1 Domain-adversarial training4.2 Zero-shot Learning方法结论展望摘要本章要讲的
2021-08-08 21:18:25
357
原创 WDK李宏毅学习笔记第十七周01_WGAN及GAN的评估
WGAN文章目录WGAN摘要前言1、问题1.1 The nature of data1.2 sampling1.3 What is the problem of JS divergence?2、Wasserstein distance方法结论展望摘要前言1、问题1.1 The nature of data图片是P_G和P_data在低维空间的manifold，在高维空间中P_G和P_data重叠的部分往往是特别少，以二位空间为例，它们的分布曲线就像两条直线，相交点是极少的。
2021-08-08 20:15:31
353
原创 WDK李宏毅学习笔记第十六周01_Theory behind GAN
Theory behind GAN文章目录Theory behind GAN摘要1、Generation的本质2、GAN之前的生成2.1 最大似然估计方法结论展望摘要1、Generation的本质我们在将image转换为高维空间的点做生成时，实际上只有sample出的点在某一个区域内时生成的图片才是符合要求的(如下图以生成人脸为例)，而所以在生成时，我们要做的事，其实就是找出该区域。2、GAN之前的生成2.1 最大似然估计GAN之前用来生成的方法是最大似然估计(Maximum Li
2021-08-01 17:57:59
343
原创 WDK李宏毅学习笔记第十五周01_Conditional Generation by Conditional
标题文章目录标题摘要1、Conditional GAN1.1 目的2、使用步骤方法结论展望摘要1、Conditional GAN1.1 目的之前的GAN，是随机输入一个vector然后产生输出，无法控制产生我们想要的输出。Conditional GAN就是控制我们想要输出的结果，例如输入文字 “火车”，然后machine就输出火车的图片。2、使用步骤方法结论展望...
2021-07-25 19:25:08
115
原创 WDK李宏毅学习笔记第十四周01_GAN
Generative Adversarial Network(GAN)文章目录Generative Adversarial Network(GAN)摘要1、Basic Idea of GAN1.1 Generation（生成）1.2 Discriminator1.3 Generation和Discriminator的关系1.4 Algorithm2、GAN as structured learning3、Can Generator learn by itself?4、 Can Discriminator
2021-07-18 15:42:26
155
原创 WDK李宏毅学习笔记第十三周01_Anomaly Detection
Anomaly Detection(异常侦测)文章目录Anomaly Detection(异常侦测)摘要1、Anomaly Detection简介1.1 Problem Formulation1.2 What is Anomaly?1.3 Applications2、Anomaly Detection做法2.1 Binary Classification2.2 Categories2.3 Case 1: With Classifier(有label的data)方法结论展望摘要1、Anomal
2021-07-11 15:16:11
121
原创 WDK李宏毅学习笔记第十二周01_ELMO，BERT，GPT
标题文章目录标题摘要1、Contextualized Word Embedding2、Embeddings from Language Model(ELMO)3、Bidirectional Encoder Representations from Transformers(BERT)3.1 How to use BERT-Case 1方法结论展望摘要1、Contextualized Word EmbeddingContextualized Word Embedding是根据语义对word进
2021-07-04 21:43:11
142
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人