anshuai_aw1的博客

事务的多版本控制浅谈数据库并发控制 - 锁和 MVCC多版本并发控制2个结合看。『浅入深出』MySQL 中事务的实现分布式事务的实现原理

Consistency = Consensus?词典会告诉你，Consusens的意思就是“一致”（我想这也许就是中文文献中对“一致性”误用的根源），似乎和Consistency是一样的？答案是否定的。虽然这两个单词的译意接近，但是在分布式系统中作为专业名词来讲，其代表的含义实则相差甚远。我们常说的“一致性（Consistency）”在分布式系统中指的是副本（Replication）问题中对于同一个数据的多个副本，其对外表现的数据一致性，如线性一致性、因果一致性、最终一致性等，都是用来描述副本问题中的一

consistency 这个词在不同的环境下有着不同的含义，各个方向都在使用，导致很难理解:多副本的一致性，即distirbuted一致性hash.CAP理论的一致性ACID里的一致性而这几个一致性的含义都不相同。结合各种资料，自己做个总结方便查阅。一、事务的ACID中的C第一种理解首先来解释下ACID中的Consistency怎么解决。参考文献【1】中的sleep deep解释得很好。直接复制过来：请看下面Wikipedia中关于数据库事务一致性的定义Consistency e

花点时间记录一下自己对cache的一些基本概念的理解。cache的功能这里略去。一、cache consistencycache consistency这个概念到处都在用。但是各有各的解释，容易模糊。在这里，借助参考文章【1】中的定义简单化这个概念：eventually the value of key k should be the same as the underlying data store, if k exits in cache.即只要cache中的值和back-end中的值一致，

简单记录一下如何证明page replacement algorithm是offline optimal的算法。主要参考文献【1】https://blog.henrypoon.com/blog/2014/02/02/proof-of-the-farthest-in-future-optimal-caching-algorithm/【2】CSE 202: Design and Analysis of Algorithms【3】大数据算法课程笔记8a：page replacement algor

文章目录一、Amortized analysis平摊分析1.1 引言1.2 聚类分析 aggregate method1.2.1 栈1.2.2 计数器1.3 记账方法 accounting method1.3.1 栈1.3.2 计数器1.4 势能方法potential method1.4.1 栈1.4.2 计数器1.5 动态表1.5.1 聚类分析1.5.2 记账分析1.5.3 势能分析1.6 记账方法和势能方法的关系二、势能法用于竞争分析2.1 自组织表（self-organizing lists）参考文献

文章目录一、competitve analysis二、page replacement2.1 问题背景2.2 deterministic online algorithm2.2.1 LIFO和LFU不是α\alphaα-竞争算法2.2.2 LRU和FIFO是kkk-竞争算法2.3 deterministic online algorithm的竞争比是Ω(k)\Omega(k)Ω(k)参考文献基于参考材料，和自己的理解，本文主要整理了在线学习中的竞争性分析，和它的典型例子：page replacement问

最近开始转战传统算法分析的研究工作了，重新拾起以前学过的一些内容。目录一、概述二、对常见的Ο和Ω进行分析2.1 大O表示法2.2 大Ω表示法三、P问题，NP问题，NP-hard问题，NPC问题3.1P问题和NP问题3.2 NPC问题和NPH问题参考文献：一、概述Ο，读音：big-oh；表示上界，小于等于。Ω，读音：big omega、欧米伽；表示下界，大于等于。Θ，读音：theta、西塔；既是上界也是下界，称为确界，等于。ο，读音：small-oh；.

class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

p(x;μ,Σ)=1(2π)n/2∣Σ∣1/2exp⁡(−12(x−μ)TΣ−1(x−μ))p(x;\mu , \Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))p(x;μ,Σ)=(2π)n/2∣Σ∣1/21​exp(−21​(x−μ)TΣ−1(x−μ))此时我们说随机变量 [公式] 服从一元标准高斯分布, 其均值 [公式] , 方差 [公式] , 其概率密度函数为Z=X−

转载自《关于协方差矩阵的理解》

记录一些自己在工作的一些小功能的代码实现，不断补充记录。一、如何查Hive表某个分区的最后更新时间。通过查HDFS可以得知：1: 查询某个表的HDFS地址desc formatted app.app_vdp_cate_health_cate1_coinuser_associndex;2: 进入到地址中dfs -ls hdfs://ns7/user/mart_vdp/...

文章目录一、背景二、PNN思想和模型三、优化四、代码实践。参考文献一、背景PNN源论文为《Product-based Neural Networks for User Response Prediction》，是上海交大团队发表在ICDM 2016上。本文在阅读源论文和网上其它资料的基础上，重点整理了论文的细节和思想。我们已经知道，在信息检索领域（IR，Information Retriev...

一、背景FFM算法，全称是Field-aware Factorization Machines，是FM（Factorization Machines）的改进版。FFM由Yu-Chin Juan与其比赛队员提出，他们借鉴了field（域）概念提出了FM的升级版模型。简单来说，通过引入field的概念，FFM把相同性质的特征归于同一个field。本文主要介绍FFM的理论，由于其算法复杂度比较高，在...

最近有一批业务需要用到推荐算法，因此，准备认真整理一下自己学习的推荐算法的思路，以便于正确地应用和对比。一、推荐算法1.1 背景首先应该需要了解推荐算法的一些基本思路，我之前整理过一篇《（一）推荐算法概述——以协同过滤为主》。简单来说，推荐系统分为两种： CF-Based（协同过滤）、Content-Based（基于内容的推荐）协同过滤(collaborative filtering)就...

Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。Google官方给出的Dataset API中的类图：我们本文只关注Dataset的一类特殊的操作：Transformation，即map，shuffle，repeat，batch等。在正式介绍之前，我们再回忆一下深度学习中的一些基本概念。batch siz...

一、简介tensorflow提供了一个功能强大的特征处理函数tf.feature_column，feature columns是原始数据与estimator之间的过程，其内容比较丰富，可以将各种各样的原始数据转换为estimator可以用的格式。特征数据主要包括categorical和dense(numeric或者continuous)两类，处理方法是使用tensorflow中的feature...

本文转载自《Matplotlib中多子图绘图时，坐标轴及其label的几种排布方式》。目录1、最普通的2、只在最外层坐标轴显示 Label3、如果 x label和y label 都一样可以只显示一个4、刻度也只在最外侧显示5、或者Label仍然分开显示6、加入 colorbar7、整个 fig 共用一个 colorbar8、colorbar 横置9、...

话说有将近一年没更新过博客了。惭愧。今天整理下Git, GitHub和GitLab这三个名词的概念，虽然经常用GitHub，但是其实对于这些概念还是有些混淆。一、GitGit是一种版本控制系统，是一个命令和工具。Git是一个开源的分布式版本控制系统（Version Control System），它没有中央服务器的概念，用户需要修改某个文件时，必须把代码仓库完整地镜像下来而不是只提取...

这篇文章写的比较扯淡。。。。由collect_list形成的列表经过concat_ws拼接后顺序具有随机性，要保证列表有序只需要在生成列表后使用sort_array函数进行排序即可。sort_array就是对array进行排序，且只能升序。我在这里举一个完整的例子和代码：如果，我们有如下的数据集（借助了参考文献1的数据），我们希望对memberid进行分组，依照legcount的顺序，...