![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
小柳研
文章平均质量分 56
研究生阶段
lzb_include
这个作者很懒,什么都没留下…
展开
-
早大北九州市校区小柳惠一教授DSOOD小考及作业
注明:1. 此答案皆为原创,得分多少与博主无关2. Quiz和作业最好都要加参考文献,否则容易没分(不要加这篇博文!!)3.Quiz很少粘,原因是作业一般和Quiz很相似,而且quiz考你上课前的知识积累,不用很在意分数4.希望大家认真对待,好好思考,发出来只是希望可以提供给大家思路,并不鼓励抄袭 DS-11. What do process and thread o...原创 2018-10-06 12:33:42 · 4246 阅读 · 0 评论 -
Flink容错机制第五篇 Akka基本概念
上一篇谈到Flink的checkpoint通信的消息驱动用到了Akka,这篇就简介一下Akka的actor模型,并尽可能复习一些以往的框架和多线程知识。一,基础概念了解Akka是什么之前,要知道一些我们常见且常用的基础概念。1. 并发与并行(Concurrency & Parallelism)并发和并行概念类似但有不同,并发指的是两个或多个任务能一同进行下去,但不一定会在同...原创 2019-05-26 18:35:14 · 552 阅读 · 0 评论 -
Flink的容错机制第一篇 Flink简介
研究室用,暂且补充一篇加深理解一,批处理运算和流处理运算之前在简单介绍中已经对大数据概念有简短介绍,而要入门理解大数据框架Flink是什么,首先要了解批处理运算和流处理运算的关联和区别。在应用中我们会接收到各种各样不同的数据,以接收数据的类型可以分为有限数据集(bounded)和无限数据集(unbounded),而处理这些数据的方式在这里可以分为两种,就是批处理运算和流处理运算。-...原创 2019-05-17 19:55:18 · 603 阅读 · 0 评论 -
Flink的容错机制第二篇 异步栅栏快照机制
上一篇讲到Flink是基于有状态的运算,而避免了传统流计算缺少程序状态支持的数据存储,访问,动态扩容,数据库回滚一致性等问题。这一篇主要讲Flink如何通过状态管理而做到流计算中的消息传输保障。一,一致性与全局状态在分布式系统中,运行着多个相互关联的服务节点。一致性是指分布式系统中的多个服务节点,给定一系列的操作,在约定协议的保障下,使它们对外界呈现的状态是一致的。换句话说,也就是保证...原创 2019-05-18 12:33:31 · 974 阅读 · 0 评论 -
Flink容错机制第六篇 分布式架构
一,Flink分布式架构分布式系统需要解决:分配和管理在集群的计算资源、处理配合、持久和可访问的数据存储、失败恢复。Flink专注分布式流处理。怎么去设计分布式架构需要根据业务需要和技术水平配置,官网上给出了Flink运行时的基本分布式架构Flink 运行时环境由两种类型进程组成:作业管理器(也称为 master)用于协调程序的分布式执行。它的主要功能是调度任务,调整检查点,并在任...原创 2019-06-07 11:30:00 · 666 阅读 · 0 评论 -
简单介绍之隔离级别与分布式事务
猫眼娱乐面试原题,又因为最近论文中有提到分布式架构的东西,以前学的都是零散的知识,在简单理解中按照自己的逻辑整理一下关于分布式事务的知识。一,分布式系统与环境问题概念系统可以笼统分为集中式系统和分布式系统。集中式系统就是由一台或多台主计算机组成中心节点,系统所有功能均由其集中处理。分布式系统是硬件和软件组件分布不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。特...原创 2019-06-08 10:58:13 · 1844 阅读 · 0 评论 -
简单介绍之微服务架构
一,什么是微服务0.背景首先要理解一下大背景,随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。图源来自Dubbo文档:从图上我们可以看出,随着业务能力的需求,机器节点越来越多,我们从ORM的单一应用架构慢慢成长到MVC垂直应用架构,然后把核心业务抽取出来形成分布式服务框架RP...原创 2019-06-12 11:43:19 · 1237 阅读 · 0 评论 -
Flink的容错机制第七篇 流处理架构与Apache Kafka
本篇主要简介Flink工程中出现的Apache kafka的功能和应用场景,更有助于理解Flink的整体工程架构,文章中可能出现之前写过的内容。一,背景:数据处理架构多年来,数据的收集和使用一直在增长,公司已经设计并构建了基础架构来管理数据。 大多数企业实施的传统架构区分了两种类型的数据处理:事务处理和数据分析处理。 在本节中,我们将讨论这两种类型以及它们如何管理和处理数据。1. 事...原创 2019-07-02 22:31:42 · 737 阅读 · 0 评论 -
MySQL技术总结第一篇
(答辩完成,接下来一段时间会抓紧学习,月底回国。)拿两三篇总结MySQL的知识点,补上之前的坑。这里第一篇主要讲粗略讲一下MySQL体系结构和存储引擎,通过对MySQL大体的认识,连带补充一些关于InnoDB的特性。一,MySQL体系结构1.1 什么是数据库,MySQL和SQL首先讲数据库,数据库(DB)是文件的集合,是依照某种数据模型组织起来并存放于二级存储器中的数据集合。通...原创 2019-07-11 15:33:36 · 3774 阅读 · 0 评论 -
Flink的容错机制第四篇 checkpoint触发机制
一,checkpoint的配置默认checkpoint功能是disabled的,想要使用的时候需要先启用checkpoint开启之后,默认的checkPointMode是Exactly-once。官方配置代码如下:StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();...原创 2019-05-25 19:49:10 · 7468 阅读 · 0 评论 -
Flink的容错机制第三篇 状态管理及容错
上篇我们大体讲了Flink容错机制的处理方法,和产生checkpoint的机制;这次主要讲一些补充一,Flink的checkpoint形式checkpoint有两种特殊形式:Savepoint:是一种特殊的checkpoint,只不过不像checkpoint定期的从系统中去触发的,它是用户通过命令触发,存储格式和checkpoint也是不相同的,会将数据按照一个标准的格式存储,不管配...原创 2019-05-20 21:34:23 · 1007 阅读 · 0 评论 -
简单介绍之大数据框架
致初学者一,恶龙出巢大数据是一种现象,它可以称作潮流,但绝不是技术。大数据,顾名思义,就是数据变得越来越多,变得很大很大。我知道很多人对这个解释嗤之以鼻,可是经过我的一段时间学习,发现这个概念就是这样,没有必要把它上升到一种难以理解的高度。不理解的问题在于:你对数据到底有多大根本没有概念。我们在网络上每一次操作无非都是对数据的增删改查,在未来随着网络应用的越来越多,人们对网络需...原创 2019-03-21 16:01:43 · 17787 阅读 · 0 评论 -
Spark学习---RDD
首先推荐看这个博客:https://blog.csdn.net/anzhsoft/article/details/39851421说的挺好的就是有点乱,有一些资料汇总。另外图解spark 核心技术与案例实战这本书也挺好的,推荐入门者读。总而言之RDD是弹性分布式数据集,推荐大家背英文•RDD is the spark's core abstraction which is shor...原创 2018-09-17 12:32:07 · 205 阅读 · 0 评论 -
Spark学习---Spark概述
起因:我们实验室是搞分布式计算的,所以我的目光就着落在了几个大数据框架上:Spark, Storm, Flink等等。从中挑了了一个比较好做的就是spark了,目前还是基础知识掌握阶段,下周可能会定题目,看老师想法。这几篇博客完全由主观撰写,根据自己的想法觉得怎么思考顺利怎么写,如果对您有一点点帮助那太好了,没有的话就权当自己练手。首先说Google的三大马车:Mapreduce,GFS,...原创 2018-09-16 15:34:26 · 222 阅读 · 0 评论 -
sdn/nfv学习---mininet---1. 什么是mininet?
起因:最近在接触SDN和NFV相关的技术,不可避免的要学习mininet,再者想要记下些什么记录每天的收获,所以想起编辑一些概念的东西。由于像这种概念的东西,权威的机构说得最靠谱。最近拜读图解TCP/IP一书,其中1.4节提到了概念标准化的概念,任何概念标准化才会有助于概念或工程产品更好地推进,关于sdn走在前列的就是ONF和ONRC了吧,所以我就以ONF官网(https://www.open...翻译 2018-04-24 16:15:42 · 1302 阅读 · 0 评论 -
Redis数据库学习第三篇
此篇讲Redis单机数据库的实现一,Redis数据库Redis数据库结构Redis服务器将所有数据库都保存在服务器状态结构的db数组中,db数组的每个项都是一个redisDb结构,每个redisDb结构代表一个数据库。每个客户端都有自己的目标数据库,每当客户端执行数据库命令时,目标数据库就会成为这些命令的操作对象,客户端可以通过执行SELECT命令来切换目标数据库。键空间...原创 2019-01-19 13:05:57 · 238 阅读 · 0 评论 -
Redis数据库学习第一篇
此篇介绍Redis的概念,特点及用途。一,Redis简介Redis的概念:1. open source in-memory data structure store which can be used as a database and/or a cache and message broker2. NoSQL key/value store3. supports multipl...原创 2019-01-14 16:37:54 · 213 阅读 · 0 评论 -
分布式锁入门
一,什么是分布式锁在多线程并发的情况下,单机应用保证一个代码块在同一时间只能由一个线程访问 ----> 在Java中用锁来保证,比如java的synchronized语法以及reentrantlock类如果在分布式的集群环境中,如何保证不同节点的线程的同步执行。 -----> 分布式锁ReentrantLock的lock和unlock要求必须是在同一线程进行,而...原创 2019-01-21 13:24:20 · 224 阅读 · 0 评论 -
Redis数据库学习第二篇
此篇介绍在Redis数据库中的数据结构与对象一,简单动态字符串Redis自己构建了一种名为简单动态字符串(SDS)的抽象类型,并将SDS用作Redis的默认字符串表示。所以,SDS和C语言中的字符串类型有什么不一样呢?常数复杂度获取字符串长度程序计算一个C字符串长度的过程,时间复杂度是O(N),因为需要指针遍历整个数组才能得到长度,而SDS只需要访问len属性就可以了。杜...原创 2019-01-17 19:00:41 · 228 阅读 · 0 评论 -
SDN架构
一,SDN重塑网络SDN(Software-Defined Networking)软件定义网络,是一种新的网络体系结构,重构了网络的系统功能,实现了数控分离,也对网络资源进行了抽象,其中最主要的三个特征:1. 网络开放可编程:用户可以在控制器上编程实现堆网络的配置管理,加快部署2. 数控分离:控制平面和数据平面不再互相依赖,开放接口进行通信3. 逻辑上的集中控制:主要对分布式网络状...原创 2019-02-26 12:06:52 · 4433 阅读 · 0 评论 -
MySQL技术总结第二篇
此篇着重讲MySQL存储引擎中的索引和算法写在前面:数据库索引,是数据库管理系统中一个排序的数据结构,以协助快速查询、更新数据库表中数据。如果索引太多,应用程序性能就会受影响,如果索引太少,查询性能又会受影响。所以找到平衡点至关重要。InnoDB存储引擎支持以下索引:B+树索引哈希索引其中InnoDB的哈希索引是自适应的,即自动为表生成哈希索引。InnoDB存储引擎会监控对表上...原创 2019-07-12 21:02:20 · 141 阅读 · 0 评论