- 博客(22)
- 资源 (1)
- 收藏
- 关注
原创 Flink checkpoint 源码分析- Checkpoint snapshot 处理流程
在上一篇博客中我们分析了代码中barrier的是如何流动改的。最后跟踪到了代码org.apache.flink.streaming.runtime.io.checkpointing.CheckpointedInputGate#handleEvent现在我们接着跟踪相应代码,观察是如何算子接受到了barrier是如何进行下一步代码处理的。以及了解flink应对不同的消费语义(At least once, exactly once)对于checkpoint的影响是怎样的。
2024-05-08 16:51:51 907
原创 Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
在上一篇的博客里,大致介绍了flink checkpoint中的触发的大体流程,现在介绍一下触发之后下游的算子是如何做snapshot。
2024-04-30 17:01:14 1120 2
原创 Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
Flink的checkpoint的过程依赖于异步屏障快照算法,该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂,这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
2024-04-29 18:56:28 1058 2
原创 关于 there has a exception+ org.apache.ibatis.binding.BindingException: Invalid bound statement 报错
最近在学习Springboot框架,集成了Mybatis框架。但是一运行就遇到there has a exception+ org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)这个问题。首先Mapper类是这样的:XML的配置如下:中间反反复复检查了namespace, insert id, 和parameterType都是没有问题的。另外我在application.properties最...
2021-12-14 16:09:49 395
原创 Redis的数据结构
引言Redis官网对于redis有以下的介绍Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker. Redis provides data structures such as strings, hashes, lists, sets, sorted sets with range queries, bitmaps,
2021-08-19 15:36:43 371
原创 深入理解MySQL中的并发
前言维基百科对于MySQL的介绍:MySQL在过去由于性能高、成本低、可靠性好,已经成为最流行的开源数据库,因此被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟,它也逐渐用于更多大规模网站和应用,比如维基百科、Google和Facebook等网站。MySQL在实际生产中有广泛的应用,因此在面试中很多面试官对MySQL有很深度的考查。1. 事务的隔离级别1.1 什么是事务?事务(Transaction)是访问和更新数据库的程序执行单元;事务中可能包含一个或多个.
2021-08-06 14:47:42 2924 1
原创 深入理解Java中的HashMap
前言在面试的过程中有一些面试官喜欢问HashMap的相关知识点,这个是一个常见的知识点。但是面试官会问的很深。因此,我想做一个深度的总结。将此总结的过程分享给大家。什么是HashMap?菜鸟网站中对HashMap有以下的定义:在Java中HashMap 是一个散列表,它存储的内容是键值对(key-value)映射。HashMap 实现了 Map 接口,根据键的 HashCode 值存储数据,具有很快的访问速度,最多允许一条记录的键为 null,不支持线程同步。HashMap 是无序的
2021-08-05 14:37:49 2047 6
原创 基于少样本学习EEG/SEEG数据癫痫预警和脑电识别
立体脑电数据包含了大脑癫痫电信号,具有高信噪比,高采样率,可以进行病灶定位等特点。因此对立体脑电进行数据分析和数据挖掘具有很大的医学研究价值。但是目前基于立体脑电信号数据挖掘工作还较少,尤其是基于深度学习等方法的工作。立体脑电采集成本较高,受试者较少,所以需要大量训练数据的传统的神经网络分类模型并不能很好解决立体脑电分类任务。同时,立体脑电数据的电极位置不固定,头皮脑电的数据预处理方法不适用于立体脑电数据。因此从立体脑电数据出发,如何进行的数据预处理,利用立体脑电多信道信息,构建出泛化能力较好的深度学习网络
2021-07-20 10:30:11 1526 3
原创 基于对抗学习(域适应)的脑电信号SEEG/EEG分类算法
很久没有更新博客了,手头上有一些工作,发论文不是很顺利,但是还是想通过博客的方式分享处理。对抗学习(Adversarial Learning)的思想最早可以追溯到博弈论里面优化问题。GAN(Generative Adversarial Networks)网络是一种典型的基于对抗学习的神经网络。GAN的基本原理其实非常简单,这里以生成图片为例进行说明。假设我们有两个网络,G(Generator)和D(Discriminator)。G是一个生成图片的网络,它接收一个随机的噪声z,通过这个噪声生成图片,记做G(
2021-05-21 20:36:24 1971 10
原创 脑电数据(EEG/SEEG)处理-特征可视化
在之前的文章中,我已经介绍了利用CNN神经网络来进行脑电特征的提取及识别。我的课题是有关癫痫的脑电特征分析,在实际的实验中你会发现,你的神经网络很容易过拟合,可以将实验抽象为分类任务,可以分为两个方向来进行训练:将所有的数据划按照一定的比例划分为两个部分(eg.7:3),一部分用于训练,一部分用于测试。 将数据按照人来进行划分,假设有n个人,n-k个人作为训练街,但是后面的k个...
2019-11-20 16:13:23 7991 5
原创 脑电信号处理(EEG/SEEG)工具介绍
俗话说:“工欲善其事必先利其器”,脑电信号处理当然离不开各种工具的支持呀。况且并不是所有的人都善于编程,有些没有GUI界面的工具就不太适合医生适用,而工程师可能就更加侧重于API接口的调用,对数据进行分析。因此对于工程师,医生来说工具的侧重点就会不一样。今天我就来系统的盘点一下各种工具的优缺点和适用人群。EDFbrowser平台:Linux/Windows/Mac OS简介:EDFbr...
2019-11-01 16:42:56 8223 3
原创 Data augmentation using learned transformations for one-shot medical image segmentation-论文详解
这是一篇CVPR2019的论文,主要是做Magnetic resonance imaging(MRI)医学图像的分割(segmentation)。MRI磁共振成像(MRI)是一种用于放射学中的医学成像技术,用于形成人体解剖结构和生理过程的图片。MRI扫描仪使用强磁场,磁场梯度和无线电波来生成体内器官的图像。MRI不涉及X射线或使用电离辐射,这与CT或CAT扫描以及PET扫描不同。磁共振成...
2019-10-23 19:25:15 1594 1
原创 基于CNN的SEEG/EEG脑电数据处理分析
自从AlexNet 神经网络问世以来,Convolutional Neural Network(CNN)是深度学习领域璀璨的明星之一。特别是Computer Vision(CV)领域。基本上CV领域的大多数的任务都是基于CNN神经网络。 当然最近又兴起了GCN。 但是从数学上讲GCN是CNN的一种推广。这个暂时不进行详细的讨论。事实上不仅仅在处理图片这种数据需要用到CNN神经网络。更一般的来说涉及...
2019-10-16 00:57:14 11617 10
原创 脑电信号(EEG/SEEG)处理方法杂记-框架搭建
本人一直在做关于脑电信号的处理,中间尝试了很多的方法,因此想把关于脑电信号的处理方法记录下来,分享给大家,也相当于给自己的学习生活做一个记录性的总结。脑电图(EEG)是一种使用附在头皮上的小金属圆盘(电极)检测大脑电活动的测试。您的脑细胞通过电脉冲进行通信,并且即使在您睡着时也始终保持活动状态。此活动在EEG录音中显示为波浪线。脑电图是癫痫的主要诊断测试之一。脑电图也可以在诊断...
2019-07-09 10:55:49 9435
原创 利用CNN神经网络框架(ResNet)进行癌症检测(Pytorch)
最近在做Kaggle相关的项目,其中一个就是做Cancer Detection。其实就是一个简单的二分类的问题。数据集来自于Kaggle:https://www.kaggle.com/c/histopathologic-cancer-detection/data数据集中提供了大概22万张相关图片,这些图片是有标签的(0、1)。同时系统还有4万多张的测试数据集,这个数据集需要根据你训练的模型...
2019-03-18 09:29:08 6206 9
原创 利用RNN神经网络自动生成唐诗宋词
RNN(Recurrent Neural Networks)在处理长序列有很强的优势,加上近来前向反馈算法的成功,导致RNN在长文本上得到了很好的应用。 简单来说RNN神经网络能够记住长序列中的某种特征,因此可以很好处理时序信息,RNN可以处理多种时序信息,其中应用最广泛的是在文本上的处理,包含了文本情感分析,文本的自动生成。对于英文的诗歌的自动生成国外做的...
2018-12-18 16:41:11 7018 3
原创 JQuery的ajax使用方法以及Maven的json包引用问题
JQuery自己集成了ajax的使用方法,可以很方便的进行调用。如果自己进行写ajax是比较麻烦的。值得注意的是在引入Json是很多人会出现在main函数中可以正常调用,但是在servlet中会出现引用异常的现象,这往往是因为lib没有在web中的引用,具体做法参照之前的文档https://blog.csdn.net/TONIYH/article/details/792339...
2018-12-03 21:36:37 1318
原创 利用LSTM对脑电波信号进行分类
最近我们在做利用LSTM网络对脑电波信号(纺锤体)进行分类的相关工作。我们的数据集是来自于美国开源的睡眠数据集(national sleep research resource)https://sleepdata.org 我们获得数据包含 纺锤波的持续时间,振幅,时间,等几个特征。我们采集的样本主要来自于正常人和病人。我们初步的思想是将纺锤波视为一个事件...
2018-11-25 21:58:59 14447 22
原创 利用Python爬虫爬取斗鱼直播间信息,以及直播的实际人数!
首先我准备利用mysql来存储我爬取的信息,建一个host表如下:然后下载pymysql ,利用它与数据库链接,因为在这里我只涉及到写入的操作:Unit_Mtsql然后就是使用Beautifulsoup框架对斗鱼的链接进行解析,为了使用的方便,自己写了一个host类,主要用于存储直播间的相关信息。基本思路是:1.获取斗鱼的几大模块,斗鱼一共有7个模块:网游晋级,单机热,手游休闲等...
2018-07-25 12:48:18 16313 19
原创 关于java.lang.NoClassDefFoundError,com/alibaba/fastjson/JSONObject的错误(json lib位置 引用错误)
最近在学习jQuery ajax json传数据,其实就是一个jsp页面向servlet请求数据其中有关ajax代码如下:$(document).ready(function () { $("#bt4").click(function () { $.get("/LearningWorking/AjaxTest/AjaxTest",function (data,s
2018-02-01 22:24:45 22396 2
原创 Python 关于 urllib.request.urlopen()的错误
在刚开始学习python准备学习爬虫时在使用pycharm编译出现了错误这是源码:#!usr/bin/pythonimport urllib.requesturl = "http://www.baidu.com"get = urllib.request.urlopen(url).read()print(get)这个本来就很简单但是出现了以下错误:C:\Progr
2018-01-19 20:55:59 7266 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人