2017年11月_dingguanyi

12月 11月 10月 09月

转载 Hive(一):架构及知识体系

Hive是一个基于Hadoop的数据仓库，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层，设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据，2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能（本质是将SQL转换为MapReduce），自身最大的缺点就是执行速度慢。Hive有自身

2017-11-29 21:58:28 268

转载几张图看懂列式存储

最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，

2017-11-29 21:34:33 195

转载循序渐进，了解Hive是什么！

一直想抽个时间整理下最近的所学，断断续续接触hive也有半个多月了，大体上了解了很多Hive相关的知识。那么，一般对陌生事物的认知都会经历下面几个阶段：为什么会出现？解决了什么问题？如何搭建？如何使用？如何精通？我会在本篇粗略的介绍下前两个问题，然后给一些相关的资料。第三个问题，就得慢慢靠实践和时间积累了。如果有什么问题，可以直接留言！为什么出现？解决了什么问题？背景

2017-11-22 21:23:53 186

转载结构化、半结构化和非结构化数据

在实际应用中，我们会遇到各式各样的数据库如nosql非关系数据库（memcached，redis，mangodb），RDBMS关系数据库（oracle，mysql等），还有一些其它的数据库如hbase，在这些数据库中，又会出现结构化数据，非结构化数据，半结构化数据，下面列出各种数据类型：结构化数据：能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号。传统的关系数据模

2017-11-22 21:07:40 328

转载 Apache Hive简介

一、Apache Hive简介官方网址：https://hive.apache.org/The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structu

2017-11-22 21:02:25 876

转载 oracle的schema的含义

在现在做的Kraft Catalyst 项目中，Cransoft其中有一个功能就是schema refresh. 一直不理解schema什么意思，也曾经和同事讨论过，当时同事就给我举过一个例子，下面会详细说的。其实schema是Oracle中的，其他数据库中不知道有没有这个概念。首先,可以先看一下schema和user的定义：A schema is a collection of data

2017-11-22 20:42:00 560

转载开发基础——SQL书写规范

1、语句中出现的所有表名、字段名全部小写，系统保留字、内置函数名、Sql保留字大写。2、连接符or、in、and、以及＝、=等前后加上一个空格。 3、对较为复杂的sql语句加上注释，说明算法、功能。注释风格：注释单独成行、放在语句前面。 (1) 应对不易理解的分支条件表达式加注释； (2) 对重要的计算应说明其功能； (3) 过长的函数实现，应将其语句按实现的功

2017-11-20 23:32:58 276

原创 JAVA基础学习20171118-数组

1.什么是数组数组是相同数据类型的数据按照顺序组成的一种引用数据类型2.数据的声明语法格式：数据类型[] 数组名; 数据类型数组名[];Int[] myIntArray; Int myIntArray[]; char[] ch; String[] strArray;3.数组的创建语法格式一：先声明后创建数据类型[] 数组名; 数组名=new 数据类型[数组长度];In

2017-11-18 21:38:01 254

原创 JAVA基础学习20171109-循环结构

1.while循环语法格式： while(循环条件) { 语句; }代码：package com.imooc.flow1;public class PlusDemo { public static void main(String[] args){ //求1到100的累加和 int a=1; int sum=0;

2017-11-14 23:34:59 250

原创 JAVA基础学习20171030-流程控制

1.流程控制语句：顺序、选择、循环2.选择结构 If(条件){ 语句1; 语句2; …}If(条件){ 语句1; 语句2; …} else{ 语句1; 语句2; …}代码：package com.imooc.flow;import java.util.Scanner;public class ScoreAssess { public sta

2017-11-09 22:10:46 202

原创 JAVA基础学习20171030-运算符

1.表达式表达式由运算符和操作数组成例如： 5 num1 num1+num2 sum=num1+num22.运算符分类算术运算符赋值运算符关系运算符逻辑运算符条件运算符位运算符3.赋值运算符格式：变量=表达式例如：int n=3;//将3赋值给变量n 注意：赋值运算符是从右往左运算！赋值运算符的左边不能是

2017-11-07 00:07:22 201