![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop应用
文章平均质量分 96
春宇大数据
春宇大数据,包括Hadoop平台部、分布式数据仓库部、分布式采集部、分析挖掘部、精准营销部、新技术研发部等,……。
展开
-
Spark1.2及CDH5.2~CDH5.3安装和使用(B)
这篇文章参考 How-to: Run a Simple Apache Spark App in CDH 5 编写而成,没有完全参照原文翻译,而是重新进行了整理,例如:spark 版本改为 1.2.0-cdh5.3.0,添加了 Python 版的程序。 本文主要记录在 CDH5 集群环境上如何创建一个 Scala 的 maven 工程并且编写、编译和运行一个简单的 Spark 程序转载 2015-03-01 16:25:31 · 786 阅读 · 0 评论 -
Flume-ng的原理和使用
1. 介绍 Flume 是 Cloudera 提供的日志收集系统,具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输,Flume 支持在日志系统中定制各类数据发送方,同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 Flume 使用 java 编写,其需要运行在 Java1.6 或更高版本之上。 官方网站:http://flume.apache.o转载 2015-03-01 16:36:03 · 774 阅读 · 0 评论 -
Spark安装和使用
本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。 安装环境如下: 操作系统:CentOs 6.5Hadoop 版本:CDH-5.3.0Spark 版本:1.2 关于 yum 源的配置以及 Hadoop 集群的安装,请参考 使用yum安装CDH Hadoop集群。 1. 安装 选择一个节点 cdh1 来安装 Spark ,首先查看 Spark转载 2015-03-01 16:16:18 · 2780 阅读 · 0 评论 -
CDH中配置HDFS HA、Hbase HA
最近又安装 hadoop 集群, 故尝试了一下配置 HDFS 的 HA,这里使用的是 QJM 的 HA 方案。 关于 hadoop 集群的安装部署过程你可以参考 使用yum安装CDH Hadoop集群 或者 手动安装 hadoop 集群的过程。 集群规划 我一共安装了三个节点的集群,对于 HA 方案来说,三个节点准备安装如下服务: cdh1:hadoop-hdfs-na转载 2015-03-01 16:39:37 · 2652 阅读 · 0 评论 -
Spark1.2及CDH5.2~CDH5.3安装和使用(A)
本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。 安装环境如下: 操作系统:CentOs 6.5Hadoop 版本:CDH-5.3.0Spark 版本:1.2 关于 yum 源的配置以及 Hadoop 集群的安装,请参考 使用yum安装CDH Hadoop集群。 1. 安装 选择一个节点 cdh1 来安装 Spark ,首先查看 S转载 2015-03-01 16:23:51 · 3454 阅读 · 0 评论