自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 收藏
  • 关注

原创 【规则引擎】规规则引擎的介绍与项目实践( 基于json-rule-engine)

规则引擎介绍、node规则引擎json-rule-engine介绍与项目实践

2022-11-08 10:26:00 2979 1

原创 【前端技术】Vue3 技术学习笔记

Vue3学习记录组合式api与新特性

2022-08-31 09:23:26 1007

原创 【设计模式】行为型模式 - 解释器模式

解释器模式定义给分析对象定义一个语言,并定义该语言的文法表示,再设计一个解释器来解释语言中的句子。该模式实现了文法表达式处理的接口,该接口解释一个特定的上下文。特点优点扩展性好。由于在解释器模式中使用类来表示语言的文法规则,因此可以通过继承等机制来改变或扩展文法;容易实现。在语法树中的每个表达式节点类都是类似的,所以实现其文法较为容易。缺点执行效率较低。解释器模式中通常使用大量的循环和递归调用,当要解释的句子较复杂时,其运行速度很慢,且代码的调试过程也比较麻烦;会引起类膨胀。解释器模

2021-02-16 15:13:33 210 1

原创 【设计模式】行为型模式 - 备忘录模式

备忘录模式定义在不破坏封装性的前提下,捕获一个对象的内部状态,并在该对象之外保存这个状态,以便以后当需要时能将该对象恢复到原先保存的状态。又叫快照模式。特点优点提供了一种可以恢复状态的机制。当用户需要时能够比较方便地将数据恢复到某个历史的状态;实现了内部状态的封装。除了创建它的发起人之外,其他对象都不能访问这些状态信息;简化了发起人 类。发起人不需要管理和保存其内部状态的各个备份,所有状态信息都保存在备忘录中,并由管理者进行管理,这符合单一职责原则。缺点资源消耗大。如果要保存的内部状态

2021-02-15 14:24:00 160

原创 【设计模式】行为型模式 - 访问者模式

访问者模式定义将作用于某种数据结构中的各元素的操作分离出来封装成独立的类,使其在不改变数据结构的前提下添加作用于这些元素的新的操作,为数据结构中的每个元素提供多种的访问方式。它将对数据的操作与数据结构进行分离,是行为类模式中最复杂的一种模式。特点优点扩展性好。能够在不修改对象结构中的元素的情况下,为对象结构中的元素添加新的功能;复用性好。可以通过访问者来定义整个对象结构通用的功能,从而提高系统的复用程度;灵活性好。访问者模式将数据结构与作用于结构上的操作解耦,使得操作集合可以相对自由地演化而

2021-02-15 10:48:48 136

原创 【设计模式】行为型模式 - 迭代器模式

迭代器模式定义提供一个对象来顺序访问聚合对象中的一系列对象,而不暴露聚合对象的内部表示。属于一种对象行为型模式。特点优点访问聚合对象内部无需暴露它的内部表示;遍历任务交由迭代器完成,简化了聚合类;它支持以不同方式遍历一个聚合,甚至可以自定义迭代器的子类以支持新的遍历;增加新的聚合类和迭代器类很方便,无需修改原有代码;封装性良好,为遍历不同的聚合结构提供1一个统一的接口。缺点增加了类的个数,在一定程度上增加了系统的复杂度。结构与实现结构主要角色:抽象聚合对象:定义存储、添加

2021-02-14 21:21:53 148

原创 【设计模式】行为型模式 - 中介者模式

中介者模式定义定义一个中介对象来封装一系列对象之间的交互,使原有对象之间的耦合松散,且可以独立地改变它们之间的交互。中介者模式又叫调停模式,它是迪米特法则的典型应用。特点优点类之间职责清晰,符合迪米特法则;对象之间的耦合性降低,使得对象易于独立地被复用;将对象间的一对多关联转变为一对一的关联,提高系统的灵活性,使得系统易于维护和扩展。缺点中介这模式将原本多个对象直接的相互依赖变成了中介者和对个对象类的依赖关系。当同事类越多时,中介者就会越臃肿,变得复杂难以维护。结构与实现结构主要

2021-02-12 22:28:07 290

原创 【设计模式】行为型模式 - 观察者模式

观察者模式定义指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式,属于对象行为型模式。特点优点降低了目标与观察者之间的耦合关系,两者之间是抽象耦合关系,符合依赖倒置原则;目标与观察者之间建立了一套触发机制。缺点目标与观察者之间的依赖关系并没有完全解除并且有可能出现循环引用;当观察者对象很多时,通知的发布会花费很多时间,影响程序的效率。结构与实现结构主要角色:抽象主题角色:

2021-02-10 20:54:00 171

原创 【设计模式】行为型模式 - 状态模式

状态模式定义对有状态的对象,把复杂的“判断逻辑”提取到不同的状态对象中,允许状态对象在其内部状态发生改变时改变其行为。特点优点结构清晰,状态模式将于特定状态相关的行为局部化到一个状态中,并且将不同状态的行为分割开来,满足“单一职责原则”;将状态装换显示化,减少对象间的相互依赖。将不同的状态引入独立的对象中会使得状态装换变得更加明确,且减少对象间的相互依赖;状态类职责明确,有利于程序的扩展。通过定义新的子类很容易地增加新的状态和转换。缺点状态模式的使用必然会增加系统的类与对象的个数;

2021-02-10 16:13:33 125

原创 【设计模式】行为型模式 - 责任链模式

责任链模式定义也叫职责链模式,是为了避免请求发送者与多个请求处理者耦合在一起,于是将所有请求的处理者通过前一对象记住其下一个对象的引用而连成一条链;当有请求发生时,可将请求沿着这条链传递,直到有对象处理它为止。责任链模式中,客户只需要将请求发送到责任链上即可,无须关心请求的处理细节和请求的传递过程,请求会自动进行传递。责任链将请求发送者和请求处理者解耦了。特点优点降低了对象之间的耦合度。使对象无须知道到底是哪一个对象处理其请求以及链的结构,发送者和接收者也无须拥有对方的明确信息;增强了系统的

2021-02-07 21:46:42 110

原创 【设计模式】行为型模式 - 命令模式

命令模式定义将一个请求封装为一个对象,使发出请求的责任和执行请求的责任分割开。这样两者之间通过命令对象进行沟通,这样方便将命令对象进行存储、传递、调用、增加和管理。特点优点通过引入中间件(抽象接口)降低系统的耦合度;扩展性良好,增加或删除命令非常方便。采用命令模式增加与删除命令不会影响其他类,即满足“开闭原则”;可以实现宏命令。命令模式可以和组合模式结合,将多个命令装配成一个组合命令,即宏命令;方便实现Undo和Redo操作。命令模式可以与后面介绍的备忘录模式结合,实现命令的撤销与恢复;

2021-02-06 20:14:49 104

原创 【设计模式】行为型模式 - 策略模式

策略模式定义该模式定义了一系列算法,并将每个算法封装起来,使他们可以相互替换,且算法的变化不会影响使用算法的客户。策略模式属于对象行为模式,通过对算法进行封装,把使用算法的责任和算法的实现分割开,并委派给不同的对象对这些算法进行管理。特点优点使用策略模式可以避免多重条件语句,提高可维护性;通过提供可供重用的算法族,恰当使用继承可以把算法族的公共代码转移到父类里面,从而避免重复的代码;可以提供相同行为的不同代码,可以更根据实际场景进行选择;提供了对开闭原则的完美支持,可以再不修改源代码的情况

2021-02-03 12:22:55 139 1

原创 【设计模式】行为型模式 - 模板方法

模板方法定义定义一个操作中的算法骨架,而将算法的一些步骤延迟到子类中,使得子类可以不改变该算法结构的情况下重定义该算法的某些特定步骤。属于类行为型模式。特点优点封装了不变部分,拓展可变部分。它把认为是不变部分的算法封装到父类中实现,而把可变部分算法由子类继承实现,便于子类继续扩展;在父类中提取了公共的部分代码,便于代码复用;部分方法是由子类实现的,因此子类可以通过扩展方法增加相应的功能,符合开闭原则。缺点对不同的实现都需要定义一个子类,会导致类的个数增加,系统更加庞大,设计也更加抽象

2021-02-03 11:38:35 159

原创 【设计模式】行为型模式 - 概述

行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,设计算法与对象间职责的分配。一般分为 类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或者聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类型为模式具有更大的灵活性。行为型模式包含一下11种模式:模板方法(Template Method)模式:定义一个操作中的算法骨架,将算法的一些步骤延迟到子类中,使得子

2021-02-03 10:55:37 150

原创 【设计模式】结构型模式 - 组合模式

组合模式定义又称为整体-部分模式,它是一种将对象组合成树状的层次结构的模式,用来表示“整体-部分”的关系,使用户对单个对象和组合对象具有一致的访问性,属于结构性设计模式。特点优点缺点...

2021-02-03 10:25:17 172

原创 【设计模式】结构型模式 - 享元模式

享元模式定义运用共享技术来有效地支持大量细粒度对象的复用。它通过共享已经存在的对象来大幅度减少需要创建的对象数量、避免大量相似类的开销,从而提高系统的资源利用率。本质是缓存共享对象,降低内存消耗。特点优点相同对象只要保存一份,以此降低系统中对象的数量,从而降低系统中细粒度对象给内存带来的压力。缺点为了使对象可以共享,需要将一些不能共享的状态外部化,这将增加程序的复杂性;读取享元模式的外部状态会使得运行时间稍微变长。结构与实现结构享元模式的定义提出了两个要求:细粒度和共享对象。这些

2021-01-21 11:35:45 140

原创 【设计模式】结构型模式 - 外观模式

外观模式定义又叫做门面模式,是一种通过为多个复杂的子系统提供一个一致的接口,而使这些子系统更加容易被访问的模式,该模式对外有一个统一接口,外部应用程序不用关系内部子系统的具体细节,这样降低应用程序的复杂度,提高了程序的可维护性。特点优点外观模式是“迪米特法则” 的典型应用,主要有以下主要优点:降低了子系统与客户端之间的耦合度,使得子系统的变化不会影响调用它的客户类;对客户屏蔽了子系统组件,减少了客户处理的对象数目,并使得子系统使用起来更加容易;降低了大型软件系统中的编译依赖性,简化了系统在

2021-01-20 20:15:47 278

原创 【设计模式】结构型模式 - 装饰模式

装饰模式定义在不改变现有对象结构的情况下, 动态地给该对象增加一些职责(即增加其额外功能)的模式,它属于对象结构性模式。特点优点装饰器是继承的有力补充,比继承灵活,在不改变原有对象的情况下,动态的给一个对象扩展功能,即插即用;通过使用不用装饰类及这些装饰类的排列组合,可以实现不同效果;装饰器模式完全遵守开闭原则。缺点主要缺点是:会增加很多子类,过度使用会增加程序的复杂性。结构与实现结构主要角色:抽象构件角色:定义一个抽象接口以规范准备接受附加责任的对象;具体构件角色:实现抽

2021-01-20 19:42:35 122

原创 【设计模式】结构型模式 - 桥接模式

桥接模式定义将抽象与实现分离,使它们可以独立变化。它是用组合关系代替继承关系来实现,从而降低了抽象和实现这两个可变维度的耦合度。桥接模式遵循了里氏替换原则和依赖倒置原则,最终实现了开闭原则,对修改关闭,对扩展开放。特点优点抽象与实现分离,扩展能力强;符合开闭原则;符合合成复用原则;其实现细节对客户透明。缺点由于聚合关系建立在抽象层,要求开发者针对抽象化进行设计与编程,能正确地识别出系统中两个独立变化的维度,这增加了系统的理解和设计难度。结构与实现结构主要角色:抽象化角色:

2021-01-20 17:20:55 164

原创 【设计模式】结构型模式 -适配器模式

适配器模式定义将一个类的接口转换成客户希望的另外一个接口,使得原本由于接口不兼容而不能一起工作的那些类能一起工作。适配器模式分为类结构型模式和对象结构型模式两种,前者类之间的耦合度比后者高,且要求程序员了解现有组件库中的相关组件的内部结构,所以应用相对较少些。特点优点客户端通过适配器可以透明地调用目标接口;复用了现存的类,无需修改原有代码而重用现有的适配者类;将目标类和适配者类解耦,解决了目标类和适配者类接口不一致的问题;在很多业务场景中符合开闭原则。缺点适配器编写过程需要结合业务

2021-01-20 16:52:48 118

原创 【设计模式】结构型模式 - 代理模式

代理模式定义由于某些原因需要给某对象提供一个代理以控制对该对象的访问。这时,访问对象不适合或者不能直接引用目标对象,代理对象作为访问对象和目标对象之间的中介。特点优点代理模式在客户端与目标对象之间起到一个中介作用和保护目标对象的作用;代理对象可以拓展目标对象的功能;代理模式能将客户端与目标对象分离,在一定程度上降低了系统的耦合度,增加了程序的可拓展性。缺点代理模式会造成系统设计中类的数量增加;在客户端和目标对象之间增加一个代理对象,会造成请求处理速度变慢;增加了系统的复杂度。以

2021-01-20 15:50:19 90

原创 【设计模式】结构型模式 - 概述

结构型模式描述如何将类或对象按某种布局组成更大的结构。分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者采用组合和聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。7 种结构型模式:代理模式: 为某对象提供一种代理以控制对该对象的访问。即客户端通过代理间接地访问该对象,从而限制、增强或修改该对象的一些特性;适配器模式:将一个类的接口转换成客户希望的另外一个接口,使得原本由于接口不兼容而不能一起工作的

2021-01-20 15:21:40 127

原创 【设计模式】创建型模式 - 建造者模式

建造者模式定义建造者模式是指将一个复杂对象的构造和它的表示分离,使同样的构造过程可以创建不同的表示,这样的设计模式被称为建造者模式。它是将一个复杂的对象分解为多个简单的对象,然后一步一步构建而成。它将变与不变相分离,即产品的组成部分是不变的,但一部分是可以灵活选择的。特点优点封装性好,构建与表示分离;扩展性好,各个具体的建造者相互独立,有利于系统的解耦;客户端不必知道产品内部组成的细节,建造者可以对创建过程逐步细化,而不对其他模块产生任何影响,便于控制细节风险。缺点产品的组成部分必须

2021-01-20 15:06:26 151

原创 【设计模式】创建型模型 - 抽象工厂模式

抽象工厂模式定义是一种为访问类提供一个创建一组相关或相互依赖对象的接口,且访问类无须指定所要产品的具体类就能得到同族的不同等级的产品的模式结构。抽象工厂模式是工厂模式的升级版本,工厂方法模式只生产一个等级的产品,而抽象工厂模式可生产多个等级的产品。使用抽象工厂模式一般需要满足以下条件:系统中有多个产品族,每个具体工厂创建同一族但属于不同等级结构的产品;系统一次只可能消费其中某一族产品,即同族的产品一起使用。优缺点:优点:抽象工厂模式除了具有工厂方法模式的特点外,其他主要优点如下:可

2021-01-20 12:41:52 127

原创 【设计模式】创建型模式 - 工厂方法模式

工厂方法模式定义简单工厂模式违背了开闭原则,而“工厂方法模式”是对简单工厂模式的进一步抽象化,其好处是可以使系统在不修改原来代码的情况下引进新的产品,即满足开闭原则。优缺点优点:用户只需要知道具体工厂的名称就可得到所要的产品,无须知道产品的具体创建过程;灵活性增强,对于新产品的创建,只需多写一个相应的工厂类;典型的解耦框架。高层模块只需要知道产品的抽象类,无须关心其他实现类,满足迪米特法则、依赖倒置原则和里氏替换原则。缺点:类的个数容易过多,增加复杂度;增加了系统的抽象性和理解难度

2021-01-15 15:26:24 181

原创 【设计模式】创建型模式 - 简单工厂模式

简单工厂模式定义定义一个创建产品对象的工厂接口,将产品对象的实际创建工作推迟到具体子工厂类当中。这满足创建型模式中所要求的**“创建与使用相分离”**的特点。按照实际业务场景划分,工厂模式有 3 种不同的实现方式,分别是简单工厂模式(又叫静态工厂方法模式)、 工厂方法模式和抽象工厂模式。简单工厂模式每增加一个产品就要增加一个具体产品类和一个对应的具体工厂类,这增加了系统的复杂度,违背了“开闭原则”。“工厂方法模式”是对简单工厂模式的进一步抽象化,好处在于可以让系统在不修改原来代码的情况下引进新的产

2021-01-15 14:45:43 77

原创 【设计模式】创建型模式 -原型模式

原型模式定义用一个已经创建的实例作为原型,通过复制该原型对象来创建一个和原型相同或相似的新对象。在这里,原型实例指定了要创建的对象的种类。用这种方式创建对象非常高效,根本无须知道对象创建的细节。优缺点优点Java 自带的原型模式基于内存二进制流的复制,在性能上比直接 new 一个对象更加优良;可以使用深克隆方式保存对象的状态,使用原型模式将对象复制一份,并将其状态保存起来,简化了创建对象的过程,以便在需要的时候使用(例如恢复到历史某一状态),可辅助实现撤销操作。缺点需要为每一个类都配置

2021-01-15 11:33:13 99

原创 【设计模式】创建型模式的特点与分类

概述创建型模式主要关注点在“怎样创建对象”,主要特点是“如何将对象的创建与使用分离”。这样可以降低系统的耦合度,使用者不需要关注对象的创建细节,对象的创建由相关的工厂来完成。主要分为以下 5 种模式:单例模式:某个类只能生成一个实例,该类提供一个去全局访问点供外部获取该实例,可拓展为多例模式;原型模式:将一个对象作为原型,通过对齐进行复制而克隆出多个和原型类似的新实例;工厂模式:定义一个用于创建产品的接口,由子类决定生产什么产品;模板工厂:提供一个创建产品族的接口,其每个子类可以生产一系列系相

2021-01-15 10:50:21 412

原创 【设计模式】创建型模式 - 单例模式

单例模式特点该单例类只有一个实例对象;该单例对象必须由单例类自行创建;单例类对外提供一个访问该单例的全局访问点。优缺点:优点保证内存中只有一个实例,减少了 内存的开销;可以避免对资源的多重占用;单例模式设置全局访问点,可以优化和共享资源的访问;缺点单例模式一般没有接口,扩展困难。如果要扩展,则必须修改原来的代码,违背开闭原则;在并发测试中,单例模式不利于代码调试。在调试过程中,如果单例中的代码没有执行完,也不能模拟生成一个新的对象;单例模式的功能代码一般写在一个类中,如果

2021-01-15 10:49:54 127 2

原创 【设计模式】7条面向对象设计原则

开闭原则:定义:当应用的需求改变时,在不修改软件实体的源代码或者二进制代码的前提下,可以扩展模块的功能,使其满足新的需求。作用:1、 软件测试影响小; 2、 可以提高代码的可复用性;3、可以提高软件的可维护性;实现方法:可以通过“抽象约束、封装变化”来实现开闭原则。即通过接口或者抽象类为如软件实体定义一个相对稳定的抽象层,而将相同的可变因素封装在相同的具体实现类中。因为抽象灵活性好,适应性广,只要抽象的合理,可以基本保证软件架构的稳定。而软件中易变的细节可以从抽象派生来的实现类.

2021-01-15 09:54:36 118

原创 【设计模式】统一建模语言UML

简介与特点:统一建模语言是用来设计软件蓝图的可视化建模语言,特点是简单、统一、图形化、能表达软件设计中的动态和静态信息。UML从目标系统的不同角度出发, 定义有 用例图、 类图、对象图、状态图、活动图、时序图、协作图、构件图、部署图等9种图。类、接口和类图:类:类是指具有相同属性、方法和关系的对象的抽象,它封装了数据和行为,是面向对象设计OOP的基础,具有封装性、继承性和多态性等三大特性。1、 类名2、 属性 在UML中格式为: 【可见性】属性名:类型【=默...

2021-01-14 17:15:47 326 2

原创 【设计模式】总览概述

软件设计模式的概念与意义软件设计模式(Software Design Pattern),又称设计模式,是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。它描述了在软件设计过程中的一些不断重复发生的问题,以及该问题的解决方案。也就是说,它是解决特定问题的一系列套路,是前辈们的代码设计经验的总结,具有一定的普遍性,可以反复使用。其目的是为了提高代码的可重用性、代码的可读性和代码的可靠性。设计模式的本质是面向对象设计原则的实际运用,是对类的封装性、继承性和多态性以及类的关联关系和组...

2021-01-14 14:13:06 126

原创 【认证】使用 Needle 实现 Http Digest摘要认证

本文章续上一篇文章,针对实际使用过程中出现的问题做了部分优化调整,供参考:优化后的摘要认证工具类:needle-auth-client.jsconst needle = require('needle')const crypto = require('crypto')const md5 = (data) => { const md5 = crypto.createHash('md5') return md5.update(data).digest('hex')}.

2020-12-31 16:05:49 778

原创 【认证】Http Digest摘要认证 Web实现 vue、node(http + crypto)

目录需求背景技术栈实现过程逻辑代码信息最终效果优化思考需求背景开发客户端工具,实现本地PC客户端登录操作海康设备并做相关操作的能力支持,经调研了解有两种实现方式:1、 C++、Java、C#等传统客户端实现手段结合设备SDK进行操作支持;(该方式支持所有的海康设备接入)2、 通过Web手段结合Http摘要认证进行实现。(该方式需要设备端支持摘要方式认证方可进行设备接入等操作)需求方项目上均采用近年海康设备,目前海康主推ISAPI协议方式对接设备,考虑Web技术..

2020-12-28 19:15:07 2429

原创 electron + vue 打包过程记录

需求描述: 需要使用vue + electron实现基于web开发的PC客户端程序,提供可安装的程序应用相关功能等等。技术栈:vue + electron + electron builder + node等web技术处理过程:本地build的node脚本命令为node .electron-vue/build.js && electron-builder运行以上脚本之后,若本地设备网络条件较差,在未配置相关程序包的情况下,会有超时/程序打包异常等等打包失败相..

2020-12-22 14:56:25 470

原创 【问题处理】记一次文件上传413异常问题处理排查

问题描述用户文件上传信息后,提示Http状态码 Code 413。服务部署架构图:nginx反向代理 =》 网关层 (springboot 应用) =》 文件存储服务(MinioIO操作)问题处理过程

2020-12-21 11:49:33 685

原创 Python3、selenium实现自动化会议室预订程序

背景描述: 定时定点自动化预约指定日期的指定会议室,实现自动化会议室抢占预订功能。技术栈:python3 、 pyinstaller(exe打包工具)、 selenium、Html5等实现思路:公司OA办公系统使用SSO单点登录,所有相关子系统登录前需要先进行系统登录后, 才能跳转登录到需要的业务系统。通过selenium+chromdriver实现用户行为模拟,定位相关界面元素后,输入指定人员信息后进行自动化相关操作(如点击登录按钮、点击提交按钮、选中复选框等)。1、 分..

2020-12-18 14:24:29 2375

原创 Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????

平台:   hadoop 2.7.1    windows 2008 server R2问题描述:  在使用kettel执行ELT任务到hive时 hadoop出现Exception message: CreateSymbolicLink error (1314): ???????????(创建符号表异常),经过分析发现为windows账户不具备创建符号表的权限 解决方法:...

2018-10-12 12:11:33 2696

原创 windows平台 Hive启动报错Caused by MetaException message Version information not found in metastore

硬件配置: hive版本为 v2.1.0windows平台使用window server 2008 R2数据库为mysql数据库;问题分析 :hive启动在需要mysql中存在scheme 表格结构,而mysql数据库中不存在导致异常。解决办法:hive启动之后需要首先在mysql数据库中创建必要的表格信息,所以在linux平台需要首先做 schematool --db...

2018-09-30 09:36:46 688

原创 【Spark-Streaming系列】业务背景、概述

产生背景:时效性高; 数据量大。时流处理概述:实时计算; 流式计算; 实时流式计算;离线计算与实时计算对比:1.数据来源离线:HDFS 历史数据 数据量比较大实时:消息队列(Kafka),实时新增、修改记录过来的某一笔数据2. 处理过程离线:MapReduce: map + reduce实时:Spark(DStream/SS)3. 处理速度离...

2018-08-14 13:06:19 431

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除