大数据
十月鱼
这个作者很懒,什么都没留下…
展开
-
Hadoop2.8.4环境安装(单机安装多版本hadoop和JDK)
Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common集群环境 192.168.205.60 master 192.168.205.65 slave1 192.168.205.66 slave2下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common...原创 2018-06-29 15:57:02 · 1677 阅读 · 0 评论 -
MapReduce实践
一、MapReduce实践1.文 件 分 发 与 打 包 ( - f i l e ) - 如果要分发的文件在本地且没有目录结构,可以使用-file /path/to/FILENAME选项分发文件,将本地文件/path/to/FILENAME分发到每个计算节点。 - 在Streaming程序中通过./FILENAME就可以访问该文件 - 对于本地可执行的文件,除了指定的mapper或...原创 2018-07-26 16:17:39 · 329 阅读 · 0 评论 -
Hadoop Streaming开发要点
$HADOOP_HOME/bin/hadoop jar streaming \-input /user/test/input \-output /user/test/output \-mapper "python mapper.py” \-reducer "python reducer.py” \-file mapper.sh \-jobconf mapred.job.name=”x...原创 2018-07-26 15:48:33 · 183 阅读 · 0 评论 -
Hadoop Streaming原理
1.MapReduce和HDFS采用Java实现,默认提供Java编程接口2.Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用3.Streaming方便已有程序向Hadoop平台移植 4.开发效率高 – 方便移植Hadoop平台,只需按照一定的格式从标准输入读取数据、向标准输出写数据就可以 – 原有的单机程序稍加改动就可以在H...原创 2018-07-26 15:44:35 · 426 阅读 · 0 评论 -
Zookeeper详解
一、Zookeeper介绍ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。二、Zookeeper应用场景1.配置管理 这个好理解。分布式系统都有好多机器,比如我在搭建hadoop的...原创 2018-07-02 22:49:01 · 231 阅读 · 0 评论 -
Storm环境安装
0. Storm源码包下载http://mirror.bit.edu.cn/apache/storm/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9....原创 2018-07-02 17:58:35 · 186 阅读 · 0 评论 -
Zookeeper3.4.10详解和安装
0. zookeeper源码包下载http://mirror.bit.edu.cn/apache/zookeeper/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/zookeeper/zooke...原创 2018-07-02 17:57:54 · 5557 阅读 · 0 评论 -
hbase环境安装
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-...原创 2018-07-02 17:57:27 · 160 阅读 · 0 评论 -
Kafka环境安装
Kafka源码包下载 http://mirror.bit.edu.cn/apache/kafka/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11...原创 2018-07-02 17:55:38 · 266 阅读 · 0 评论 -
Hadoop简介
一、Hadoop简介Hadoop主要包括以下四个模块1.Hadoop Common: 为其他Hadoop模块提供基础设施 2.Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 3.Hadoop MapReduce: 一个分布式的离线并行计算框架 4.Hadoop YARN: 一个新的MapReduce框架,任务调度与资源管理HDFSHDFS即Hadoop Distributed Fi...翻译 2018-07-02 16:57:04 · 288 阅读 · 0 评论 -
Hive1.2.2 环境安装
Hive源码包下载 http://mirror.bit.edu.cn/apache/hive/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive...原创 2018-06-29 18:41:24 · 743 阅读 · 0 评论 -
Flume环境安装
软件版本下载 http://mirror.bit.edu.cn/apache/flume/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-...原创 2018-06-29 18:39:44 · 346 阅读 · 0 评论 -
大数据
Hadoop2.0环境安装原创 2018-06-29 16:19:34 · 315 阅读 · 1 评论 -
MapReduce任务参数调优
一、本文主要记录Hadoop 2.x版本中MapReduce参数调优,不涉及Yarn的调优。Hadoop的默认配置文件(以cdh5.0.1为例):core-default.xml hdfs-default.xmlmapred-default.xml说明: 在hadoop2中有些参数名称过时了,例如原来的mapred.reduce.tasks改名为mapreduce.job...转载 2018-07-27 10:44:32 · 193 阅读 · 0 评论