Hadoop
CodeM91
多年研发管理经验。熟练掌握Java,微服务,大数据,Scala,函数式编程相关。。
展开
-
大数据系列之Flume+HDFS
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html1.资料准备 : apache-flume-1.7.0-bin.tar.gz2.配置步骤: a.上传至用户(LZ用户mfz)目录resources下原创 2017-03-14 17:42:19 · 267 阅读 · 0 评论 -
大数据系列之Hadoop框架
Hadoop框架中,有很多优秀的工具,帮助我们解决工作中的问题。Hadoop的位置从上图可以看出,越往右,实时性越高,越往上,涉及到算法等越多。越往上,越往右就越火…… Hadoop框架中一些简介 HDFSHDFS,(Hadoop Distributed File System) hadoop分布式文件系统。在Google开源有关DFS的论文后,由一位大牛开发而成。HDFS的建原创 2017-03-14 17:42:12 · 319 阅读 · 0 评论 -
大数据系列之Hadoop分布式集群部署
本节目的:搭建Hadoop分布式集群环境环境准备LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5;Master Ip:10.211.55.3 ,Slave Ip:10.211.55.4各虚拟机环境配置好Jdk1.8(1.7+即可)资料准备 hadoop-2.7.3.tar.gz虚拟机配置步骤以下操作都在两台原创 2017-03-14 17:42:49 · 493 阅读 · 0 评论 -
大数据系列之并行计算引擎Spark部署及应用
相关博文:大数据系列之并行计算引擎Spark介绍之前介绍过关于Spark的程序运行模式有三种:1.Local模式;2.standalone(独立模式)3.Yarn/mesos模式本文将介绍Spark安装及运行模式的第1、3两种模式。安装包: spark-2.1.0-bin-hadoop2.7.tgz size:195MB 下载链接: https://pa...原创 2017-04-20 00:29:00 · 456 阅读 · 0 评论 -
大数据系列之并行计算引擎Spark介绍
相关博文:大数据系列之并行计算引擎Spark部署及应用Spark: Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduc...原创 2017-04-19 22:59:00 · 1273 阅读 · 0 评论 -
大数据系列之分布式大数据查询引擎Presto
关于presto部署及详细介绍请参考官方链接 http://prestodb-china.comPRESTO是什么?Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。它可以做什么?Presto支持在线数据查询,包括Hive, C...原创 2017-04-16 19:11:00 · 670 阅读 · 0 评论 -
大数据系列之分布式计算批处理引擎MapReduce实践-排序
清明刚过,该来学习点新的知识点了。上次说到关于MapReduce对于文本中词频的统计使用WordCount。如果还有同学不熟悉的可以参考博文大数据系列之分布式计算批处理引擎MapReduce实践。博文发表后很多同学私下反映对于MapReduce的处理原理没有了解到。在这篇博文中楼主与大家交流下MapReduce的数据处理原理及MR中各角色的职责。文末还有示例代码讲解。。1.MapR...原创 2017-04-07 18:02:00 · 723 阅读 · 0 评论 -
大数据系列之分布式数据库HBase-1.2.4+Zookeeper 安装及增删改查实践
之前介绍过关于HBase 0.9.8版本的部署及使用,本篇介绍下最新版本HBase1.2.4的部署及使用,有部分区别,详见如下:1. 环境准备: 1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装,hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 2. 资料包 zookeeper-3.4.9.tar.gz,hbase-1.2.4-b...原创 2017-03-19 08:58:00 · 344 阅读 · 0 评论 -
大数据系列之分布式数据库HBase-0.9.8安装及增删改查实践
若查看HBase-1.2.4版本内容及demo代码详见 大数据系列之分布式数据库HBase-1.2.4+Zookeeper 安装及增删改查实践1. 环境准备: 1.需要在Hadoop启动正常情况下安装,hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 2. 资料包 hbase-0.98.9-hadoop2-bin.tar.gz2. 安装步骤: ...原创 2017-03-15 18:57:00 · 236 阅读 · 0 评论