- 博客(4)
- 收藏
- 关注
原创 Apache Zeppelin on CDH搭建
本文基于centos6.4、CDH版本5.7.6、spark版本为1.6.01.环境准备git1.7.1、maven3.3.9、JDK1.82.下载最新版zeepline源码wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3.tgztar -zxvf zeppeli...
2018-04-06 16:01:17 2438 1
原创 BI可视化工具Metabase安装
官方网址:https://www.metabase.com/ github:https://github.com/metabase/metabase1.环境准备JDK1.82.安装支持docker、AWS、hero等安装方式,本文基于JVM Jar安装wget http://downloads.metabase.com/v0.28.3/metabase.jar...
2018-04-06 15:58:57 7287
原创 sparkstreaming日志切分配置
在Spark Standalone模式下,spark默认使用org/apache/spark/log4j-defaults.properties配置,所有的日志都记录在stderr里面,由于Spark Streaming应用程序是一直运行的,时间长了以后stderr文件会非常大,占用空间的同时难以让我们调试和定位问题。 所以我们需要切分日志,spark原生提供了对Executor日志的切分,
2016-11-09 12:28:29 3159
转载 大数据分类和架构简介
第 1 部分: 大数据分类和架构简介概述大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征,包括数据的频率、量、速度、类型和真实性。处理并存储大数据时,会涉及到更多维度,比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战,因为需要考虑非常多的因素。这个 “大数据架构和模式” 系列提供了一种结构化和基于模式的方法来简化定义完整的大数
2016-11-08 16:55:19 16832
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人