hadoop
whoami_zy
whoami
展开
-
Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn
前言:会一些linux的基础,以及java基础。以及是先搭建好java环境,搭建环境是单机版。假定ip:192.168.248.133 步入正轨,我们直接来说说怎么搭建一个基于hadoop的spark环境。目的能够让spark将job提交到hadoop上处理。利用hadoop的分布式框架。 第一步:搭建hadoop的单机环境 1.在/etc/hostname 下修改对应的名字。 比如原创 2016-12-01 15:25:29 · 4606 阅读 · 4 评论 -
MapReduce入门级之WordCount单词计数
话不多说直接贴上代码:具体的实现代码后面描述 package com.whomai.test; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import o原创 2016-12-01 16:55:20 · 567 阅读 · 0 评论 -
Hadoop与Spark常用配置参数总结
背景 MapReduce和Spark对外提供了上百个配置参数,用户可以为作业定制这些参数以更快,更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。 MapReduce重要配置参数 1. 资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map T转载 2016-12-21 08:50:52 · 338 阅读 · 0 评论