- 博客(23)
- 收藏
- 关注
RSS订阅原创 levelDB 的版本控制
首先本次类FileMetaData之前我们在LevelDB-总体介绍中提到一个疑问，levelDB是将磁盘文件以层的结构存在，那么哪里维护这个层结构呢，其实就是在Version类中，class Version { public: // Lookup the value for key. If found, store it in *val and // return OK. Else return a non-OK status. Fills *stats. // REQUIRES:
2022-01-28 14:11:56
1292
原创 LevelDB-总体介绍
2022年1月开始看一下LevelDB开源代码先看一下LevelDB中的几大组建 图片来源LevelDB数据库中，在进行操作过程中，先往memtable中进行写入，当memtable没有空间时，将memtable写入immutable，然后memtable申请新的内存空间，单独有一个后台线程将imutable进行落盘成sstable。所有磁盘数据sstable以层的形式进行存储，有level0、level1、…、leveln。 level0中存储最新的数据。疑问：
2022-01-27 20:23:23
1246
原创 LevelDB memtable结构
基础函数const char* GetVarint32Ptr(const char* p, const char* limit, uint32_t* v)解析levelDB 中Varint32 类型的数据，在levelDB中数据一般先存储数据大小，然后存储真实的数据。p ：Varint32数据的起始地址；limit : Varint32数据最多用5位，所以limit 为p+5;v ：数据的长度；return 返回真实数据的起始地址EncodeFixed64函数将uint64类型按照
2022-01-26 13:41:01
717
原创 levelDB compaction
compaction 分成两类：1. minor compaction：minor compaction，当immemtable写满以后，需要将其落盘成SSTable，这个操作即为minor compaction。**2. major compaction：**又分成三类主动compaction：size compaction：seek compact：BackgroundCompaction函数所有的compaction操作都是由后台线程进行调起的，优先级：minor compacti
2022-01-21 20:44:27
663
原创 levelDB源码阅读1
这里写自LE定义目录标题WriteBatch 类基本操作参考链接WriteBatch 类#ifndef STORAGE_LEVELDB_INCLUDE_WRITE_BATCH_H_#define STORAGE_LEVELDB_INCLUDE_WRITE_BATCH_H_#include <string>#include "leveldb/export.h"#include "leveldb/status.h"namespace leveldb {class Slice;
2022-01-13 21:55:26
233
原创 AutoFIS阅读总结
AutoFIS 总结AutoFIS是华为提出的一种自动选取二阶以及更高阶特征的特征抽取算法论文开篇指出：在CTR预估中，交叉特征对于推理模型是非常重要的，在现有的深度模型中，交叉特征都是被手动设计或简单的罗列。罗列出所有的交叉特征不仅需要巨大的内存消耗和计算复杂度，而且无用交叉特征还会移入噪声并使得模型训练复杂化。因此提出了该算法—AutoFIS。AutoFIS的作用：去除无用交叉特征，甚至是有害的交叉特征基于FM-AUTOFIS网络选取的二阶、三阶交叉特征，可以应用到 state-of-t
2021-01-13 13:50:39
684
原创 2020-12-31
Deep Interest Network for Click-Through Rate Prediction阅读对比网络结果：在old网络中：候选ad只是跟用户历史特征进行一个简单concatenate，并没有考虑候选特征与用户例行行为之间的相关性。所有用户例行行为特征都被压缩成相同长度的embedding vector。在DIN网络中：通过考虑特征历史行为特征与候选特征之间的相关性，自适应计算用户历史行为特征的embedding vector。...
2020-12-31 16:22:29
119
原创 推荐系统模型论文阅读笔记
推荐模型概论欢迎使用Markdown编辑器Wide & Deep功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器该篇博客重要记录一下历史推荐模型论文阅读的笔记。Wide & Dee
2020-11-27 16:00:12
304
原创 git问题情景
情景1： 如何撤销git add,不小心执行了git add . 操作，但是又不能提交所有的文件，因为对应不同的分支，现在怎么样可以将git add 撤销回来如果是撤销所有的已经add的文件:git reset HEAD .如果是撤销某个文件或文件夹：git reset HEAD -filename...
2019-09-23 22:25:30
119
转载 memcpy使用
memcpy使用C 标准库 - <string.h>声明C 库函数 ，函数声明如下：void *memcpy(void *str1, const void *str2, size_t n) // 从存储区 str2 复制 n 个字符到存储区 str1。参数str1 – 指向用于存储复制内容的目标数组，类型强制转换为 void* 指针。str2 – 指向要复制的数据源，类...
2019-09-17 10:04:59
346
原创 shell 命令
shell 命令1. mkdirmkdir -p 与 mkdir 的区别mkdir 如果存在上级目录不存在的情况，会无法创建下级目录，出现error的情况：例如：mkdir temp/fengjiakai，没有上级目录temp，会出现如下错误mkdir: cannot create directory 'temp/fengjiakai': No such file or direct...
2019-09-15 16:19:19
212
原创 ResNet 笔记
ResNet笔记ResNet在2015年被Kaiming He等人提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet。下面我们从实用的角度去看看ResNet。该ResNet是针对随着网络深度的加深，出现的 “degradat...
2018-07-26 21:18:25
498
原创 batch normalization 理解
论文连接：https://arxiv.org/abs/1502.03167一、什么是covariate shift论文中表示，深度学习中，网络难以训练是因为covariate shift导致的。那么什么是covariate shift。这里有篇博客，个人感觉写的不错，其中写道： 那么covariate shift到底是什么？ 不用想得太复杂，covariate shift 最...
2018-07-26 15:36:36
162
原创 CNN发展
VGGNet网络理解网络结构该表格来自论文，每一列代表一个VGGNet网络。表中的conv3-n表示一个卷积层（卷积＋激活），其中n代表输出图像的通道数。在VGGNet网络中，所有卷积层，卷积的步长为1。 在VGGNet网络中，每次卷积前对图像进行先对图像进行padding，padding大小为1，这让对于filter为3*3，stride＝1的卷积来说，就不会改变图像的大小（out...
2018-07-20 15:35:41
1118
原创 卷积网络中卷积和池化之后，图像的尺寸变化
在卷积和和池化的过程中存在着两种对图像的处理形式： 1.”VALID” =没有填充：inputs: 1 2 3 4 5 6 7 8 9 10 11 (12 13) |______| dropped |_______|2....
2018-07-17 11:07:38
8936
原创 个人笔记（1）：random.shuffle注意事项
random 下的 shuffle 函数，作用是打乱数组或者列表中的顺序。 今天在使用的时候发现，shuffle函数在打乱数组顺序的时候，有时不光是打乱顺序，它会将不分元素删除，然后将其他元素复制。 arr3 = [[1, 2, 3], [2, 3, 4], [3, 4, 5]] arr2 = np.array(arr3)...
2018-07-15 21:03:46
1361
原创 Convolutional Neural Networks笔记（三）
Classic networks： - LetNet-5 1980 - AlexNet - VGG ResNet InceptionLetNet-5AlexNet AlexNet 采用的多GPU运行。VGG-16在这之前模型结构中卷积层的输入图像都没有进行Padding。 在这里[CONV 64] * 2 代表有两个卷积层然后在接后面的池...
2018-07-12 13:46:37
280
原创 Convolutional Neural Networks笔记（二）
Convolutional Neural Networks笔记（二）第一周第四节课 第二周第五节课1.Padding 为什么卷积之前需要对图像进行padding？如果不用padding，会给你带来以下两个缺陷： 1.每次你使用卷积操作，你的图像都会缩小，那么你只能做有限次数的卷积；output_height = input_height - filter_height + 1 ，...
2018-07-11 22:18:40
247
原创 Convolutional Neural Networks笔记（一）
Convolutional Neural Networks笔记（一）第一周第二节课（Edge Detection Example） 第一周第三节课（More Edge Detection）1. Edge Detection Example上述的滤波器是垂直边界检测器，用来检测图像中的垂直边界的信息。下面说明该样式滤波器如何检测出垂直边界信息。在原始图像中，左侧是白色，...
2018-07-11 21:43:04
2152
原创 cycleGAN个人学习笔记
cycleGAN个人学习笔记第一个问题：关于 “Generated Image Pool”在https://hardikbansal.github.io/CycleGANBlog/中是这样描述的： Calculating the discriminator loss for each generated image would be computationally prohibit...
2018-07-01 11:42:38
2052
1
原创 《neural network and deep learning》学习笔记二－sigmoid neurons
神经网络是如何训练的首先考虑对于一个网络，我们希望学习权重和偏置，从而得到正确的分类效果。为了查看学习算法是如何工作的，我们希望权重和偏置的每作出一点改变，对应输出结果也作出一点改变。正是由于这个性质，网络才具备了学习的能力。为什么感知网络不能进行学习上图代表着一个感知器网络，实际上，对于单个感知器的权重和偏置的改变有时会造成该感知器输出的完全翻转，即从0变为1。这种翻转可能会造成网络剩余部分以复杂
2017-12-05 16:11:05
262
原创 K-means以及K-Means++
K-Means:聚类算法有很多种（几十种），K-Means是聚类算法中的最常用的一种，算法最大的特点是简单，好理解，运算速度快，但是只能应用于连续型的数据，并且一定要在聚类前需要手工指定要分成几类!连续性数据：在统计学中，数据按变量值是否连续可分为连续数据与离散数据两种。离散数据是指数值职能用自然数或整数单位计算，例如，企业职工人数，设备台数等，只能按计算量单位数计数，这种数据的数值一般用技术方
2017-05-03 15:55:29
1223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人