- 博客(8)
- 收藏
- 关注
RSS订阅翻译 DTW算法背景 介绍 和总结
背景介绍：Suppose we have two time series, Q and C, of length n and m, respectively, whereQ = q1, q2,. . ., qi,. . ., qn (1)C = c1, c2,. . ., c j,. . ., cm. (2)To align two sequences using DTW, we cons...
2020-03-13 17:09:44
1050
原创 采用 SPARK SQL自定义 数据源 访问 HBASE--数据读取篇
参考 BLOGShttps://www.cnblogs.com/niutao/p/10801259.html列 减枝 + 谓词下推自定义sparkSQL数据源的过程中，需要对sparkSQL表的schema和Hbase表的schema进行整合；对于spark来说，要想自定义数据源，你可以实现这3个接口：BaseRelation 代表了一个抽象的数据源。该数据源由一行行有着已知schem...
2020-02-19 11:42:48
834
转载 AQS 线程 续集 ： 唤醒 和 阻塞
接着 抢占式 共享 那里，当 获取锁始终 失败。 //获取失败，线程等待--具体后面介绍 if (shouldParkAfterFailedAcquire(p, node) && parkAndCheckInterrupt()) interrupted = true;在获取同步状态失败后，线程并不是立马进行阻塞，需要检查该线程的状态，检查...
2020-02-19 11:42:17
433
原创 大数据课程 滴滴订单数据 MYSQL 转KAFKA 实时存储HBASE
采用如下架构将数据实时同步到hbase中：针对 代码 的整体 浏览 。首先 是 SPARK ENGINE 的抽象 类。object SparkEngine { def getSparkConf():SparkConf = { val sparkConf: SparkConf = new SparkConf() .set("spark.worker.timeout"...
2020-01-05 22:38:08
435
转载 共享式同步状态的获取和释放
共享式同步共享式与独占式的最主要区别在于同一时刻独占式只能有一个线程获取同步状态，而共享式在同一时刻可以有多个线程获取同步状态。例如读操作可以有多个线程同时进行，而写操作同一时刻只能有一个线程进行写操作，其他操作都会被阻塞。AQS提供acquireShared(int arg)方法共享式获取同步状态public final void acquireShared(int arg) { ...
2019-12-04 14:59:57
156
转载 AQS: 独占式同步状态的获取和释放
AQS的设计模式采用的模板方法模式，子类通过继承的方式，实现它的抽象方法来管理同步状态，对于子类而言它并没有太多的活要做，AQS提供了大量的模板方法来实现同步，主要是分为三类：独占式获取和释放同步状态、共享式获取和释放同步状态、查询同步队列中的等待线程情况。自定义子类使用AQS提供的模板方法就可以实现自己的同步语义。独占式，同一时刻仅有一个线程持有同步状态。独占式同步状态获取acqui...
2019-12-03 17:53:32
120
转载 AQS: CLH 介绍
AQS内部维护着一个FIFO队列，该队列就是CLH同步队列。CLH同步队列是一个FIFO双向队列，AQS依赖它来完成同步状态的管理，当前线程如果获取同步状态失败时，AQS则会将当前线程已经等待状态等信息构造成一个节点（Node）并将其加入到CLH同步队列，同时会阻塞当前线程，当同步状态释放时，会把首节点唤醒（公平锁），使其再次尝试获取同步状态。 在CLH同步队列中，一个节点表示一个线程，它保存...
2019-12-02 16:27:05
1204
转载 JUC 总体介绍
纯粹 个人记录， 转自 http://cmsblogs.com/?p=2174AQS ，AbstractQueuedSynchronizer ，即队列同步器。它是构建锁或者其他同步组件的基础框架（如 ReentrantLock、ReentrantReadWriteLock、Semaphore 等），J.U.C 并发包的作者（Doug Lea）期望它能够成为实现大部分同步需求的基础。它是 J...
2019-12-02 15:08:04
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人