2016年02月_xiao_jun_0820

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载干货长文 | 达观数据分析平台架构和Hive实践

干货长文 | 达观数据分析平台架构和Hive实践2016-02-25 文辉大数据杂谈“ 近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。本文将从Hive原理、数据分析平台架构、数据分析实战、Hive优化等四

2016-02-26 16:57:59 1509

Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的数据库查询完成，而

2016-02-24 15:20:03 1323 1

转载 Apache Kylin 大数据时代的OLAP利器

Apache Kylin 大数据时代的OLAP利器January 4th, 2016hu weiLeave a commentGo to comments1. OLAP简介 OLAP的历史与基本概念 OLAP全称为在线联机分析应用，是一种对于多维数据分析查询的解决方案。典型的OLAP应用场景包括销售、市场、管理等商务报表，预算

2016-02-23 17:55:24 3863

原创 sqoop 导入数据的时候出现Unsupported major.minor version 52.0的问题描述

出现该问题是由于cloudera manager和系统的jdk版本不一致导致的，更具体点是cm使用的是低版本的jdk（我的是1.7）,而操作系统通过java -version出来的版本是高版本的jdk(我的是1.8),由于sqoop会自动生成代码并编译程jar然后提交给map-reduce执行，所以shell命令行执行sqoop编译出来的job jar是1.8编译的，而我的cm5.3.0安装的时候

2016-02-22 12:57:40 5399

转载 Spark Streaming实践和优化

Spark Streaming实践和优化2016-02-20 徐鑫 hadoop123点击hadoop123关注我哟☀最知名的hadoop/spark大数据技术分享基地，分享hadoop/spark技术内幕，hadoop/spark最新技术进展，hadoop/spark行业技术应用，发布hadoop/spark相关职位和求职信息，hadoop/spark技术

2016-02-22 11:17:58 9840 2

转载使用Hystrix守护应用（1）

http://ningandjiao.iteye.com/blog/2171185Hystrix（https://github.com/Netflix/Hystrix）是Netflix（https://www.netflix.com/global）的一个开源项目，主要作用是通过控制那些访问远程系统、服务和第三方库的节点，从而对延迟和故障提供更强大的容错能力。其可以看做是Netflix团队

2016-02-17 14:02:33 2338

原创 flume开发环境搭建

有朋友提问flume开发环境怎么搭建的，给个pom文件放着，只能帮到这了<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt

2016-02-03 10:59:55 4119 2