天下布武之信长的专栏

何选择合适的一个，为什么您可能需要多个经常会问数据架构师和企业架构师哪种类型的数据存储最适合企业。Kimball将数据交付给消费者（其他系统，分析，BI，DW）的集成方法称为"数据仓库总线体系结构"。 这些数据存储的组合有时对于创建此体系结构是必需的。让我们看一下可用的选项，以及增强型仓库方法如何演变。每种数据存储和整合模式的简介数据湖· 数据经过最小的转换就被吸收到存储层中，并保留了输入格式，结构和粒度。 包含结构化和非结构化数据。· 捕获并托管多种数据源-批量，外部，供应商提供，变更数据捕获

实时数仓的实施关键点：端到端数据延迟、数据流量的监控故障的快速恢复能力数据的回溯处理，系统支持消费指定时间段内的数据实时数据从实时数仓中查询，T+1数据借助离线通道修正数据地图、数据血缘关系的梳理业务数据质量的实时监控，初期可以根据规则的方式来识别质量状况原始层ods：原始数据层，事实数据，存储在kafka中明细层dwd：数据明细层，可以做一些join等加宽处理，可以存储在kafka和redis中汇总层dim：维度数据，如存储在HBase中的数据应用层dm：MySQL ->

获取某一个特定表的大小：select pg_size_pretty(pg_relation_size('schema_name.table_name'));主要，如果这里是一个分区表，那么查询到的结果为0，详见：http://blog.csdn.net/sptoor/article/details/11170799查询一个schema下各表的空间：select schemaname ...

背景介绍我们先来看一下为什么要做集群，如果我们要部署一个单节点Redis，很明显会遇到单点故障的问题。首先能想到解决单点故障的方法，就是做主从，但是当有海量存储需求时，单一的主从结构就会出问题，说问题之前要先了解一下主从之间是如何复制的。我们把Redis分为三个部分，分别是客户端、主节点以及从节点，如果从节点要同步主节点的数据，它首先会发Sync指令给主节点，主节点收到指令之后...

https://www.jianshu.com/p/76ceee5657ae

使用背景:第一步>>>在包com.spring.web.controller下创建一个Controller: LoginConstrollerpublic class LoginController  extends AbstractController{        public ModelAndView handleRequestInternal(HttpServletR

Docker是一种在Linux容器里运行应用的开源工具，一种轻量级的虚拟机。除了运行应用，Docker还提供了一些工具，借助Docker Index或自己托管的Docker注册表对进行了集装箱化处理的应用进行分发，从而简化复杂应用的部署过程。我将在本文介绍如今在部署复杂系统时公司所面临的挑战，Docker怎样有效地解决这个问题，以及Docker的其他用例。部署的挑战服务

1. 初识Activiti1.1. 工作流与工作流引擎工作流（workflow）就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行，从而实现某个预期的业务目标，或者促使此目标的实现”。（我的理解就是：将部分或者全部的工作流程、逻辑让计

看到这篇文章有越来越多的人看，我决定给大家节省时间，废话少说。有几个点大家要注意。1、本地调试需要Web Server（如IIS、Apache，Nginx），单纯地本地打开文件不能看到兼容效果。2、如果你发现已经引用了respond.js和Bootstrap，仍无效果，请查看你的Bootstrap是否使用了CDN文件。（详情看第4点）3、本文主要针对Bootstrap3版本，如果你是B

格式定义：[html] view plaincopycontext-param>  param-name>contextConfigLocationparam-name>  param-value>contextConfigLocationValue>param-value>  context-param>  作用：该元素用来声明应用范围(整个WEB

http://blog.csdn.net/lanxuezaipiao/article/details/42915285先总体说下题型，共有3道简答题，3道算法编程题和1道系统设计题，题目有难有易，限时两小时完成。一、简答题动态链接库和静态链接库的优缺点轮询任务调度和可抢占式调度有什么区别？列出数据库中常用的锁及其应用场景二、算

原文地址https://segmentfault.com/a/11900000067216061.凡人视角打印字符串代码：console.log("I am a 凡人");打印提示消息代码：console.info("Yes, you arm a 凡人");打印警告消息代码：console.warn("凡人你居然敢窥视我");打印错误消息代码：

https://www.csdn.net/article/2014-11-28/2822858

本文转自： http://superlxw1234.iteye.com/blog/1666960ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源–>ODS(操作型数据存储)–>DW–>DM(data mart)ETL贯穿其各个环节。​一、数据抽取： 可以理解为...

插件名(-) | 日志版本(1位) | 日志级别(1位) | 日志码(3位)日志级别：0: 普通日志输出。1: 业务警告：这类日志一般是业务使用不当时的输出，比如不推荐使用哪些接口、发现业务潜在的风险时，打印的日志。业务开发人员需要知道这样的输出，并能正确解决2: 业务错误：这类日志一般是业务异常时的输出，当出现这个日志时，系统的某个服务可能会不可用，或者状态异常。业务开发人员需要知道这样...

数据库设计规范表设计规范1、表名全部小写，单词间通过’_'间隔2、主键命名为’id’，pg库类型为serial自增长主键，会默认创建名为[表名_id_seq]的序列3、必须包含4个审计字段且不能为空。created_time、updated_time、created_by、updated_by。4、关键词要求大写，使用IDE如idea进行格式化5、常量枚举全部用大写外键及索引命名规范...

1、Ext.grid.GridPanel主要配置项：store：表格的数据集columns：表格列模式的配置数组，可自动创建ColumnModel列模式autoExpandColumn：自动充满表格未用空间的列，参数为列id，该id不能为0stripeRows：表格是否隔行换色，默认为falsecm、colModel：表格的列模式，渲染表格时必须设置该配置项sm、sel

1.创建数据库表（User表）CREATE TABLE `NewTable` (`userId` bigint(20) NOT NULL AUTO_INCREMENT ,`userName` varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,`password` varchar(80) CH

对于ORM框架而言，数据源的组织是一个非常重要的一部分，这直接影响到框架的性能问题。本文将通过对MyBatis框架的数据源结构进行详尽的分析，并且深入解析MyBatis的连接池。    本文首先会讲述MyBatis的数据源的分类，然后会介绍数据源是如何加载和使用的。紧接着将分类介绍UNPOOLED、POOLED和JNDI类型的数据源组织；期间我们会重点讲解POOLED类型的数据源和其实现的

第二章 连接管理HttpClient有一个对连接初始化和终止，还有在活动连接上I/O操作的完整控制。而连接操作的很多方面可以使用一些参数来控制。2.1 连接参数这些参数可以影响连接操作：'http.socket.timeout'：定义了套接字的毫秒级超时时间（SO_TIMEOUT），这就是等待数据，换句话说，在两个连续的数据包之间最大的闲置时间。如果超时时间是0就解

import java.io.IOException;  import java.util.ArrayList;  import java.util.List;  import org.apache.commons.httpclient.NameValuePair;  import org.apache.commons.httpclient.methods.PostMethod; 

第四章 HTTP认证HttpClient提供对由HTTP标准规范定义的认证模式的完全支持。HttpClient的认证框架可以扩展支持非标准的认证模式，比如NTLM和SPNEGO。4.1 用户凭证任何用户身份验证的过程都需要一组可以用于建立用户身份的凭据。用户凭证的最简单的形式可以仅仅是用户名/密码对。UsernamePasswordCredentials代表了一组包含安全规

第五章 HTTP客户端服务5.1 HttpClient门面HttpClient接口代表了最重要的HTTP请求执行的契约。它没有在请求执行处理上强加限制或特殊细节，而在连接管理，状态管理，认证和处理重定向到具体实现上留下了细节。这应该使得很容易使用额外的功能，比如响应内容缓存来装饰接口。DefaultHttpClient是HttpClient接口的默认实现。这个类扮演了很多特

前言超文本传输协议（HTTP）也许是当今互联网上使用的最重要的协议了。Web服务，有网络功能的设备和网络计算的发展，都持续扩展了HTTP协议的角色，超越了用户使用的Web浏览器范畴，同时，也增加了需要HTTP协议支持的应用程序的数量。尽管java.net包提供了基本通过HTTP访问资源的功能，但它没有提供全面的灵活性和其它很多应用程序需要的功能。HttpClient就是寻求弥补

第六章 高级主题6.1 自定义客户端连接在特定条件下，也许需要来定制HTTP报文通过线路传递，越过了可能使用的HTTP参数来处理非标准不兼容行为的方式。比如，对于Web爬虫，它可能需要强制HttpClient接受格式错误的响应头部信息，来抢救报文的内容。通常插入一个自定义的报文解析器的过程或定制连接实现需要几个步骤：提供一个自定义LineParser/LineFor

前言：     在新增的Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员，包括他们各自的功能以及常见使用场景。认识BlockingQueue阻塞队列，顾名思义，首先它是一个队列，而一个队列

1. Bloom-Filter算法简介        Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。       Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有

[0]：概述今天打算来介绍一下“生产者／消费者模式”，这玩意儿在很多开发领域都能派上用场。由于该模式很重要，打算分几个帖子来介绍。今天这个帖子先来扫盲一把。如果你对这个模式已经比较了解，请跳过本扫盲帖，直接看下一个帖子（关于该模式的具体应用）。看到这里，可能有同学心中犯嘀咕了：在四人帮（GOF）的23种模式里面似乎没听说过这种嘛！其实GOF那经典的23种模式主要是基于OO的（从书名《Des

PriorityQueue介绍    在平时的编程工作中似乎很少碰到PriorityQueue（优先队列） ，故很多人一开始看到优先队列的时候还会有点迷惑。优先队列本质上就是一个最小堆。前面一篇文章介绍了堆排序和堆的性质。而堆又是什么呢？它是一个数组，不过满足一个特殊的性质。我们以一种完全二叉树的视角去看这个数组，并用二叉树的上下级关系来映射到数组上面。如果是最大堆，则二叉树的顶点是保存的最大

一．引言       因为做过的一些系统的权限管理的功能虽然在逐步完善，但总有些不尽人意的地方，总想抽个时间来更好的思考一下权限系统的设计。       权限系统一直以来是我们应用系统不可缺少的一个部分，若每个应用系统都重新对系统的权限进行设计，以满足不同系统用户的需求，将会浪费我们不少宝贵时间，所以花时间来设计一个相对通用的权限系统是很有意义的。二．设计目标   

题外话：最近在看加密与解密，看到加密算法部分，感觉对于初次接触的新手还是有些难度的。故写下该篇文章，算作一个引导吧，新手飘过，老鸟勿笑。基本原理：      MD5的典型应用是对一段信息（Message）产生信息摘要（Message-Digest），以防止被篡改。比如，在UNIX下有很多软件在下载的时候都有一个文件名相同，文件扩展名为.md5的文件，在这个文件中通常只有一行文本，大致结

基于HTTP的长连接,是一种通过长轮询方式实现"服务器推"的技术,它弥补了HTTP简单的请求应答模式的不足,极大地增强了程序的实时性和交互性。一、什么是长连接、长轮询？用通俗易懂的话来说，就是客户端不停的向服务器发送请求以获取最新的数据信息。这里的“不停”其实是有停止的，只是我们人眼无法分辨是否停止，它只是一种快速的停下然后又立即开始连接而已。二、长连接、长轮询

本篇文章讲解了计算机的原码, 反码和补码. 并且进行了深入探求了为何要使用反码和补码, 以及更进一步的论证了为何可以用反码, 补码的加法计算原码的减法. 论证部分如有不对的地方请各位牛人帮忙指正! 希望本文对大家学习计算机基础有所帮助! 一. 机器数和真值在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念.1、机器数一个数在计算机中的二进制表示形式

现在我们使用mysql对数据库分页就是直接使用limit了，这个是没有错误了，如果几万条数据没一种问题，如果是千万条记录你就会想死的心都有了，下面我来给各位朋友分析数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系

目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献更新纪录本文目标30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。如何使用本教程最重要的是