![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
whoami_zy
whoami
展开
-
Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn
前言:会一些linux的基础,以及java基础。以及是先搭建好java环境,搭建环境是单机版。假定ip:192.168.248.133步入正轨,我们直接来说说怎么搭建一个基于hadoop的spark环境。目的能够让spark将job提交到hadoop上处理。利用hadoop的分布式框架。第一步:搭建hadoop的单机环境1.在/etc/hostname 下修改对应的名字。 比如原创 2016-12-01 15:25:29 · 4604 阅读 · 4 评论 -
MapReduce入门级之WordCount单词计数
话不多说直接贴上代码:具体的实现代码后面描述package com.whomai.test;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import o原创 2016-12-01 16:55:20 · 567 阅读 · 0 评论 -
Hadoop与Spark常用配置参数总结
背景MapReduce和Spark对外提供了上百个配置参数,用户可以为作业定制这些参数以更快,更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。MapReduce重要配置参数1. 资源相关参数(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map T转载 2016-12-21 08:50:52 · 337 阅读 · 0 评论