2019年08月_OnlyQi

原创 Java中的Collection介绍

https://docs.oracle.com/javase/tutorial/collections/interfaces/index.htmlCollection可以说是把多个元素组合在一起的一种对象。Java中的collection分为5大类。对于这6类分别有对应的interface：set/list/queue/deque/map interfaces。These interfaces...

2019-08-18 07:44:39 3806

原创 Java中的annotation

Annotations, a form of metadata, provide data about a program that is not part of the program itself. Annotations have no direct effect on the operation of the code they annotate.Annotations have a ...

2019-08-18 07:11:13 307

原创 Java类中的常用关键字介绍

public class Bicycle { private int cadence; //field private int gear; private int speed; static final int test = 1; public Bicycle(int startCadence, int sta...

2019-08-17 21:13:24 722

原创 MongoDB简介

MongeDB是一个开源的文档数据库(Document Database)，旨在将数据作为类 JSON 文档存储和查询。文档数据库让开发人员可以使用他们在其应用程序代码中使用的相同文档模型格式，更轻松地在数据库中存储和查询数据。文档和文档数据库的灵活、半结构化和层级性质允许它们随应用程序的需求而变化。document database是内容管理应用程序的一个绝佳选择，例如博客和视频平台。通过文档...

2019-08-15 14:36:12 500

原创 DynamoDB简介

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.CoreComponents.htmlDynamoDB是AWS提供的key/value和document型数据库。DynamoDB既是key/value数据库，也是document数据库，原因在下面解释。1，所有的数据都存储在SSD中，可以...

2019-08-15 14:13:44 2780

原创大数据系统常用文件存储格式File format

常见的文件存储格式有行式存储，列式存储和混合式存储。在大数据系统中，列式存储和混合式存储更常见。对于HDFS这样的文件存储系统来说，其实并不关心存储的是什么形式的存储文件。只是在解析数据时，需要知道是什么类型的文件。例如Hive对RCFile和ORCFile的支持就在于，Hive知道这两种文件中数据的存储方式，并正确地解析数据并查询。1，行式存储广泛使用于主流关系型数据库及HDFS中。优势...

2019-08-15 10:24:28 2905

原创 Hadoop2.0架构

Hadoop1.0的架构请参考另外一篇文章。Hadoop2.0中对HDFS1和MRv1进行了改进，分别称为HDFS2和YARN(MRv2)。HDFS的改进在HDFS 1.0中，NameNode是master node，仅有一个节点，是单机失败的。因此在Hadoop2.0中对单个Namenode做了HA改进：NameNode成为了：Active Namenode和Standby Na...

2019-08-14 17:32:10 603

原创 Redshift 简介

Redshift是AWS提供的关系型数据库管理系统(RDBMS)，基于PostgreSQL，但二者的差别非常大。可以通过自带的Redshift客户端连接Redshift数据仓库，也可以使用第三方的SQL WorkbenchJ来连接。Redshift架构Redshift集群由一个leader node和多个compute nodes构成，如下文中图所示。leader node负责多个comp...

2019-08-13 20:38:07 5826

我的学习成长日记