hadoop
乘风御浪云帆之上
行走的菜鸟
展开
-
hadoop2.6.0-cdh5.7.0安装
下载Hadoop和JDK下载Hadoop地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gzjdk推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/ja...转载 2018-08-16 11:34:53 · 1679 阅读 · 0 评论 -
Linux相关hadoop环境配置
Linux相关hadoop环境配置 说明 此环境配置适合单机版配置 操作系统的版本:centOS6.5 jdk安装目录:/home/software/jdk/jdk8 hadoop安装目录:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0 ssh:已经安装 主机名:hadoop01 JDK相关配置 JAVA_HOME=/home/softwar...原创 2018-08-16 13:19:46 · 273 阅读 · 0 评论 -
Java操作HDFS
Java操作HDFS maven仓库【阿里仓库--支持chd的下载】 配置文件 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name>原创 2018-08-16 18:04:34 · 3245 阅读 · 1 评论 -
Hadoop完全分布式环境
Hadoop完全分布式环境 前提条件 三台虚拟机centos01、centos02、centos03【可以先将一台虚拟机配置起来,然后克隆,克隆遇到的网卡问题参考https://blog.csdn.net/eieiei438/article/details/80644261】 分布式结构说明 主机名称 角色 备注 centos01 NameNode DataNod...原创 2018-08-26 17:44:16 · 290 阅读 · 0 评论 -
MapReduce入门
MapReduce入门 MapReduce原理图 例子:单词计数图解 单词计数idea项目【maven项目】 pom文件 <repositories> <repository> <id>repo</id> <url>http://repo1.maven.org/mav...原创 2018-08-17 17:01:47 · 291 阅读 · 0 评论 -
JobHistory
JobHistory JobHistory是什么 JobHistory用来记录已经finished的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml、yarn-site.xml配置,并手动启动。 JobHistory怎么用 mapred-site.xml配置中添加 <property> ...原创 2018-08-20 14:56:48 · 753 阅读 · 0 评论 -
hadoop中Combiner和Partitioner
hadoop中Combiner和Partitioner Combiner 是什么 Hadoop组合器类是MapReduce框架中的一个可选类,它添加在Map类和Reduce类之间,用于通过组合Map中的数据输出来减少Reduce类接收的数据量。 组合器的主要功能是汇总Map类的输出,以便能够管理来自reducer的数据处理的压力,并且可以处理网络拥塞。 怎么用 p...原创 2018-08-20 15:17:53 · 456 阅读 · 0 评论 -
Spring Boot 配置Hadoop
Spring Boot 配置Hadoop 核心 FsShell自动注入 项目工程 Maven工程 Maven的setting.xml文件配置 。。。 <mirror> <id>nexus</id> <mirrorOf>*,!cloudera</mirrorOf> <url>http://...原创 2018-08-27 17:38:47 · 9405 阅读 · 2 评论 -
Hadoop之日志分析
Hadoop之日志分析 环境说明 名称 版本 备注 宿主系统 Win7【64位】 VMware 12 虚拟机镜像 CentOS-6.5-x86_64-minimal.iso 下载地址(不同版本):http://vault.centos.org/ jdk jdk-8u65-linux-x64.tar.gz lin...原创 2018-08-24 17:09:46 · 4237 阅读 · 0 评论