BigData

转载 Hive与传统数据库的对比

感觉，还是这位兄弟总结的好：https://blog.csdn.net/nisjlvhudy/article/details/47175705

原创 Kettle入门

Kettle：Kettle是什么？Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。官网介绍：kettle中文网：http://www.kettle.net.cn/ETL常用的三种工具...

原创 flink运行架构（图像版）

自己总结的内容全部都画在一张图上了，下面的总图里的部分截图：

原创 数据库设计遵循的原则

范式概述:范式就是符合某一规范级别的关系模式的集合。数据库共有7种范式：从低到高分别是:1NF, 2NF, 3NF, BCNF, 4NF, 5NF, 6NF注意:1) 实际开发中, 我们一般使用前三种范式, 用的最多的是"2NF"2) 范式之间满足"向下兼容"的特点:即: 如果满足了"3NF", 则兼容"1NF", "2NF"的规则.第一范式:（First Nor...

原创 一个完整的项目研发流程

原创 数据库的常用术语

数据模型:（Data model）数据模型是数据库结构的基础，是用来描述数据的一组概念和定义，数据模型主要有三个要素：数据结构，数据操作，数据约束条件。数据结构(表里面的字段):对象类型的集合，是对静态属性的描述。数据操作(表里面的数据):是对数据库中的各种对象性数据，允许执行的操作的集合，如增删改查等；数据操作是对系统动态热性的描述。数据约束条件(表里边的约束):是一...

原创 如何在linux中修改mysql的编码？

查看MySQL码表：show variables like '%character%';设置mysql编码:vi /etc/my.cnf具体内容如下:[mysqld]character-set-server=utf8 collation-server=utf8_general_ci sql_mode='NO_ENGINE_SUBSTITUTION'[mysq...

原创 MySQL的封锁

简单介绍：mysql的封锁大致分为以下四种锁：排它锁，共享锁，活锁，死锁。排它锁:（X锁） 可读可写, 一个事务对表加了X锁, 其他事务必须等该事务操作完这张表后, 才可以对这张表操作. 共享锁:（S锁） 只读. 多个事务可以同时对都某一张表加 共享锁 活锁:（有几率解开） 某个事...

原创 java中如何修改事务的隔离级别

事务的特性： 原子性（Atomicity）原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 (多条语句要么都成功，要么都失败。) 一致性（Consistency）事务前后数据的完整性必须保持一致。转账(减钱,加钱) 隔离性（Isolation）事务的隔离性是指多个用户并发访问数据库时，一个用户的事务不能被其它用户的事务所干扰，多个并发事务之...

原创 为什么要数据仓库分层？好处是？

按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。 数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。 数据应用层（DA或A...