- 博客(5)
- 收藏
- 关注
RSS订阅原创 PCA算法推导
PCA理解与应用。MotivationPCA与Factor analysis非常相似，都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单，实现起来也更加直观和容易（只需要算特征值）。PCA tries to identify the subspace in which the data approximately li...
2019-05-26 22:03:23
1826
原创 基于时间戳的并发控制
实现基于时间戳的事务处理原型。 TO算法流程维护若干时间戳事务时间戳：以事务开始时间标识事务的先后顺序，表示为ts(T)数据项读写时间戳：记录读写该数据的最新事务的时间戳，表示为r_ts(X), w_ts(X)另每个数据项x有三个队列，分别为读队列dm_read(x)，写队列dm_write(x)，预写队列dm_pre(x)。min_R_ts(x)，min_P_ts(x)分别为...
2019-05-22 21:02:28
5037
原创 基于锁的并发控制
实现基于2PL的事务处理原型。 基本概念Short duration lock 短锁动作开始前申请锁，动作结束立即把锁释放Long duration Lock 长锁动作开始前申请锁，动作结束继续持有锁2PL的思路事务从锁的角度看分为加锁和解锁两个阶段Growing加锁阶段，事务只获取锁，不释放锁Shrinking解锁阶段，事务只能释放锁，不能加新锁...
2019-05-22 21:01:34
1149
原创 Factor Analysis
这应该是学ML以来推导过的最痛苦的算法了，所以我想先用直观的语言描述什么是Factor analysis。因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖 关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几 个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子...
2019-05-14 22:27:00
221
原创 Hive使用
使用Hadoop和Hive。 首先，Hive是使用了MapReduce引擎和HDFS存储的中间键，其元数据存储在MySQL，Hive只是方便查询，其数据库中的数据都在HDFS中。安装Hadoop和Hive在之前的分布式系统中，已经安装好Hadoop，具体教程可参考这里。需要注意的是，在Ubuntu下，如果把环境变量放到~/.bash_profile，并不是一个好的选择，因为每次新的ter...
2019-05-09 20:49:50
323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人