Hadoop
Darren_tan
这个作者很懒,什么都没留下…
展开
-
CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解
大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能。转载:点击打开链接一、环境:1.三台VMware虚拟机(一个做为主节点,两个...转载 2018-06-14 23:45:49 · 1198 阅读 · 0 评论 -
基于CDH版本5.13.3实现原生版Spark集群及问题记录
基于CDH版本5.13.3实现Spark集群1. 安装背景由于部门及已上项目使用的是CDH版本大数据平台,为了充分更好使用Spark集群Spark引擎运算,解决基于CDH版本下可支持3种大数据运算分析方式Hive on MR、Hive on Spark和Spark Sql。2. 安装环境2.1. 硬件规划CPU 物理内存 磁盘存储 节点 1核X2颗 Intel Core P...原创 2018-06-29 10:43:27 · 2540 阅读 · 3 评论 -
基于CDH版本5.13.3验证Spark Streaming
实现背景由于部门及已上项目使用的是CDH版本大数据平台,为了更好改善在线生产系统日志实时抓取分析。需要加装Kafka作为采集数据源,使用SparkStreaming处理数据。安装环境 硬件规划 CPU 物理内存 磁盘存储 节点 1核X2颗 Intel Core Processor 2295MH...翻译 2018-07-23 23:13:30 · 1506 阅读 · 0 评论 -
Apache Zeppelin部署及案例验证指引
作为大数据研究分析,我越发觉得有必要能有一款快速上手,能够适合单一数据处理、但后端处理语言繁多的场景相关的开源工具。最近我找到了一款Apache Zeppelin,下面是我初步实战初步收获。 简要介绍 Apache Zeppelin是一款基于Web的Notebook(类似于jupyter notebook),支持交互式地数据分析。Zeppelin可实现数据采集、数据发现、数据分析、数...原创 2018-08-30 09:41:31 · 3466 阅读 · 0 评论