大数据
文章平均质量分 77
思灵月
从小鲜肉到柔腻大叔,从hello world 到 connect timeout
展开
-
安装和使用Inforbright
Inforbright简介Infobright是一款基于知识网格的列式数据库,对大批量数据(百万、千万、亿级)的查询性能非常高,据说比MyISAM、InnoDB等普通MySQL引擎快5~60倍,可存储TB级体积的数据,存储数据高压缩比可达到40:1。基于列式存储,无需索引、无需分区。快速响应复制的聚合查询,非常适合分析性的SQL,如SUM、AVG、COUNT、GROUP BY 等。Infobrigh原创 2016-06-23 17:36:34 · 3540 阅读 · 0 评论 -
ETL方法与过程讲解
1 ETL基本概念和术语1.1 ETLExtract-Transform-Load的缩写,数据抽取(Extract)、转换(Transform)、装载(Load)的过程。1.2 DWDataWarehousing,根据Bill.Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统”。1.3 MetaData元数据,就是描述数据的数据,指在数据仓库建设过原创 2016-06-25 11:20:08 · 23817 阅读 · 5 评论 -
从MySQL到Infobright迁移的白皮书
随着数据体积的增大和数据分析需求的提升,许多MySQL用户都转移到了Infobright,因为Infobright为处理大批量数据的应用程序提供了出色的查询性能。从MySQL的 MyISAM存储引擎或者其他MySQL的存储引擎转移到以列式存储分析的数据库仓库Infobright企业版(IEE)非常简单。IEE包含一个捆绑版本的MySQL,包含一个新的沿用列优化技术、程序优化技术、知识网格的MySQL翻译 2016-06-23 09:33:07 · 1654 阅读 · 0 评论 -
Windows7安装和使用Inforbright
Inforbright简介Infobright是一款基于知识网格的列式数据库,对大批量数据(百万、千万、亿级)的查询性能非常高,据说比MyISAM、InnoDB等普通MySQL引擎快5~60倍,可存储TB级体积的数据,存储数据高压缩比可达到40:1。基于列式存储,无需索引、无需分区。快速响应复制的聚合查询,非常适合分析性的SQL,如SUM、AVG、COUNT、GROUP BY 等。In原创 2016-10-19 09:40:16 · 2153 阅读 · 0 评论 -
Hadoop2.7.2安装
安装前准备首先需要安装JDK并配置java环境变量,我安装的是jdk1.8.1。 下载hadoop-2.7.2.tar.gz,解压到:/usr/hadoop, 解压之后进行配置就可以使用配置hadoop环境变量配置export JAVA_HOME=/usr/java/jdk1.8.0_101export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:原创 2017-03-29 15:49:39 · 1524 阅读 · 6 评论 -
学习笔记:OLTP语OLAP
OLTP(On-Line Transaction Processing):联机事务处理OLTP(On-Line Analytical Processing):练级分析处理OLTP 是事件驱动、面向应用的。基本特点是:对响应时间非常高用户量非常大数据库的操作基于索引进行对数据库的事物均无预先定义,查询简单,一般不涉及多表连接操作。OLAP使得数据分析人员能够从多角度对数据进行快速、一致、交原创 2016-06-29 23:26:05 · 783 阅读 · 0 评论 -
ZooKeeper学习和使用
网上已经有很多介绍Zookeeper的文章和以及详细的安装配置过程,本文也罗列了几篇写得不错的,作为使用手册吧。官方文档:Zookeeper总览 分布式服务框架 Zookeeper – 管理分布式环境中的数据ZooKeeper的学习笔记: http://agapple.iteye.com/blog/1111377 http://agapple.iteye.com/blog/1112032 h原创 2017-07-12 14:07:56 · 537 阅读 · 0 评论 -
HBase启动之后HMaster自动关闭的问题处理
查看HBase的日志有报错2018-02-10 03:42:00,570 WARN [Thread-72] hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/.tmp/hbase.version could only ...原创 2018-02-10 11:25:28 · 5187 阅读 · 0 评论