zookeeper的工作原理 3. Zookeeper的工作原理3.1 选举制度3.1.1 说明基于节点在半数以上才能正常服务的要求,Zookeeper适合装在奇数台机器。Zookeeper没有在配置文件中指定leader和follower,而是使用算法(Paxos)在内部通过选举机制 来选择一个节点为leader,其他节点为follower。3.1.2 开机启动时的选举过程假设有五台服务器组成的 zookee...
Hadoop之hdfs工作机制 5. HDFS的工作机制(重点)5.1 开机启动Namenode过程namenode启动(根据客户端的请求记录fsimage和edits,在内存中进行增删改查)第一次启动namenode格式化后,创建HDFS镜像文件fsimage和编辑日志文件edits。如果不是第一次启动,直接加载镜像文件到内存,再加载编辑日志。(HDFS的镜像文件FsImage包含着集群所有文件的元数据信息; 编辑日...
Hadoop之hdfs体系结构 4. HDFS的体系结构4.1 体系结构解析HDFS 采用的是hostname01/slaves这种主从的结构模型来管理数据,这种结构模型主要由四个部分组成,分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。真正的一个HDFS集群包括一个Namenode和若干数目的Datanode。Namenode是一个中心服务器,...
Linux之脚本 4. shell编程4.1 shell的概念介绍4.1.1 命令解释器Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户,下图所示用户、shell和操作系统的关系:一个系统可以存在...
Linux之软件安装 3. 软件安装3.1 软件安装介绍学软件开发,各种台的软件熟练安装是必须要熟练掌握。大家都知道,Windows下安装软件时,只需用鼠标双击软件的安装程序,或者用Zip等解压缩软件解压缩即可安装;在android或者apple中安装软件时,只需要在手机应用商店点击安装即可。而在Linux下安装软件难度高于Windows、Android、ios和windows phone下软件安装。下面我就详细讲...
Linux之常用命令 2. 常用命令2.1 命令格式的说明命令格式:命令 \[-选项][参数] 参数 eg: ls -la /usr 说明: 大部分命令遵从该格式 多个选项时,可以一起写 eg: ls –l –a ls –la 简化选项与完整选项(注:并非所有选项都可使用完整选项) eg: ls –all ls –a 帮助命令:(相当于命令说明书)2.2 帮助命令2.2.1 man英文:...
Linux之简介与安装 1. Linux的简介和安装1.1 Linux的简介1.1.1 Linux介绍Linux是一种自由和开放源码的操作系统,存在着许多不同的Linux发行版本,但它们都使用了Linux内核。Linux内核网站:www.kernel.org1.1.2 UNIX与Linux发展史Unix在1969年,美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。Linux出现于1...
XML与JSON 13. xml与json13.1 XML简介可扩展的标记语言,里面的标记都是用户自定义的,标记都是成对的。作用是用来存储数据和传输数据。 特别适合 网络传输。与html的区别xml是可扩展的标记语言,html是超文本标记语言xml里的标记都是用户自定义的,html都是预定义的xml用于存储和传输,html用于显示数据XMl的书写扩展名是xml。声明:文件的第一行的内...
JDBC之DAO模式、dbutils工具使用、批处理 10. DAO设计模式10.1 DAO简介-dao是数据访问对象(Data Access object)的简写。-是为应用程序的持久层所设计的编程模式。-持久层指的是数据库与业务层之间的逻辑,即与数据库直接交互的逻辑层,封装了所有对数据库的访问-目的:将数据访问逻辑和业务逻辑分开。一个DAO设计模式包含以下内容1. 定义实体类: 通过对象关系映射(ORM)将数据库的表结构映射成...
MySQL之用户命令和数据库的备份恢复 8. DCL语句8.1 作用用于创建用户,授予权限,撤销权限等操作。 create user grant revoke alter user drop user 8.2 管理用户创建用户,修改密码,删除用户等操作,都需要使用超级管理员root进行操作- 创建用户语法: create user username@ip identified by 'password'; - ...
MySQL之关联查询 5. 关联查询(多表查询)《重点掌握》5.1 概念:有的时候,我们的业务需求的数据不只是在一张表中,而是在两张或两张以上的表中,而这些表中通常都会存 在着"有关系"的字段。那么此时的查询操作涉及到多表查询,我们称之为关联查询。 案例:最简单的关联查询 select * from emp,dept; select * from emp join dept; 5.2 写法分类在进行多...
MySQL之约束 4. 约束 constraint(重点)4.1 概念- 完整性约束条件,简称约束,用于保证表中数据的完整性和安全性。 - 约束是对表进行的一种强制性的校验规则。 - 在进行DML操作时,必须符合约束条件,否则不能执行。4.2 非空约束- 非空约束:not null,简称NN,只有在DML操作中才会校验 - 如果对字段设置了not null,在DML操作,不能为空。 - 建表写法:...
MySQL之基本查询语言 3. 基本查询语言(DQL)*:通配符,查找一条数据的所有内容,并且效率很低。3.1 基本查询语言的结构最简单的查询语句: select...from.... 一个完整的普通查询语句结构如下: select [distinct].....from....[where....][group by .....][having.....][order by.....][limit....
MySQL基础 1. 前言1.1 数据库的概念DB:Database数据库,用来存储数据的仓库,长期保存在计算机的存储设备上,数据按照一定的规则组织起来,可以被各种用户、应用共享的数据集合。(一定要与数仓区分开,完全是两个概念)DBMS:指的是一种用来管理和操作数据的大型软件,用于建立、使用、维护数据,对数据库进行统一的管理和控制,以保证数据的完整性和安全性。用户可以通过数据库管理系统访问数据库中的...
Java8新特性之集合的流式编程 Java8 的新特性 – 集合的流式编程1、集合流的简介1.1、集合的流式编程的简介 Stream是JDK1.8之后出现的新特性,也是JDK1.8新特性中最值得学习的两种新特性之一。(另外一个是lambda表达式)。 Stream是对集合操作的增强,流不是集合的元素,不是一种数据结构,不负责数据的存储的。流更像是一个迭代器,可以单向的遍历一个集合中的每一个元素,并且不可循环。注...
设计模式之适配器模式 适配器模式/** * 适配器,解决USB到Lighting不兼容的问题 */ /** * 适配器设计模式: * 适配器,其实是一个中间件,主要用来解决“接口不兼容”的问题而存在的。 * 当我们需要使用到某一个功能模块的时候,发现一个已经存在的模块和现有的模块之间不兼容。没有办法直接使用。 * 此时,可以做一个适配器,使用之前的不兼容的模块中的功能。 ...
设计模式之抽象工厂模式 抽象工厂模式class Xiaomi {}class Huawei {}class Apple {}interface Phone {}interface Computer {}interface Pad {}interface Earpods { }class XiaomiPhone extends Xiaomi implements Phone { }clas...
动态代理模式 案例:动态代购模式/** * 动态代理: 为了解决静态代理中的复杂的需求(每一个被代理者需求都不一样) * 案例: * 小明、小美、小娟三个人需要购买苹果设备,找到一个代理老王。 * 但是,他们三个人买的产品不同:小明需要买电脑、小美需要买手机、小娟需要买平板。 */public class Program { public static void mai...
设计模型之代理模型 代理模式:案例:静态代购模式/** * 购买者 */public class Buyer implements BuyMac { private String name; public Buyer(String name) { this.name = name; } @Override public void buyMac(Stri...
JAVA反射 15. 反射15.1 反射的简介反射(Reflect),在Java中,可以在程序运⾏的过程中,动态的获取类、获取类中的成员(属性、⽅法、构造⽅法),并进⾏访问。这⾥的动态获取,可以通过⼀个字符串来进⾏获取。这样的机制,叫做反射。15.2 Class的描述15.2.1 Class类的简介Class是Java中的⼀个类,⽤来描述Java中的类。对⼀个类编译之后的字节码⽂件进⾏的描述。这个类也...