花开时节

本记录摘自 快乐绿茶 的博客：【原文地址】    1、ETL的定义 ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”，但我们日常往往简称其为数据抽取。 ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步...

windows或者linux服务器下部署 第一步 建立一个solr的运行目录 例如：D:\solr-tomcat 将下载的solr-4.10.4中的solr-4.10.4\example目录下的solr文件夹拷贝到D:\solr-tomcat目录下 第二步 建立JNDI文件 在tomcat的conf\Catalina\localhost目录下建立文件solr.xml <Co...

bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. <!--[if !supportLists]-->·        <!--[endif]-->hdfs d...

简介：         实现reids master slave 模式添加哨兵（sentinel）监控，当主机down掉后备机承担主机身份进行生产工作。   实施：        1.先依照spring redis 整合http://see-you-again.iteye.com/admin/blogs/2323435完成非哨兵监控模式下的配置。        2.修改pom文件如下...

Redis3.x编译及安装 一、简介       Redis是由C语言编写的，所以在使用前需要编译。当然网上是有提供编译好的安装包的，但是大部分情况下需要自己编译。 二、下载      1.下载http://redis.io/，由于官网为提供windows版本。      2.下载windows版本的Redis需要在https://github.com/MSOpenTech/redi...

1.redis密码设置、访问权限控制等安全设置 写道 src/redis-server改为src/redis-server redis.conf  

简介：         spring整合redis，废话不多说直接上代码！         参考：http://docs.spring.io/spring-data/redis/docs/1.7.2.RELEASE/reference/html                    http://projects.spring.io/spring-data-redis/ 流程： po...

Hadoop集群的搭建 一、         搭建虚拟机 1.     环境准备： VMware10、[红帽企业Linux.6.4.服务器版].rhel-server-6.4-x86_64-dvd.iso 2.     虚拟机搭建步骤： a)     傻瓜式安装略 二、         更改主机名和映射 1.     切换到root帐户 su root 2.     执行vi ...

一、什么是kafka? 　　kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。 　　kafka目前支持多种客户端语言：java，py...

FastDFS安装部署文档        FastDFS简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。FastDFS没有对文件做分块存储，因此不太适合分布式计算场景...

1、软件包   FastDFS_v5.05.tar.gz   libfastcommon-master.zip   fastdfs-nginx-module_v1.16.tar.gz   zlib-1.2.8.tar.gz   pcre-8.12.tar.gz   nginx-1.7.9.tar.gz   2.安装部署     FastDFS_v5.05依赖libfastcom...

1、提交sql  交给驱动 2、驱动编译解析相关的字段表信息 3、去metastore查询相关的信息返回字段表信息 4、编译返回信息 发给驱动 5、驱动发送一个执行计划交给执行引擎 6.1、DDLs 对数据库表的操作的直接和metastore交互 create table t1(name string); 6.1、把job交给job tracker 让task tracker执行 ...