hadoop
乘风御浪云帆之上
行走的菜鸟
展开
-
hadoop2.6.0-cdh5.7.0安装
下载Hadoop和JDK下载Hadoop地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gzjdk推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/ja...转载 2018-08-16 11:34:53 · 1673 阅读 · 0 评论 -
Linux相关hadoop环境配置
Linux相关hadoop环境配置说明 此环境配置适合单机版配置操作系统的版本:centOS6.5jdk安装目录:/home/software/jdk/jdk8hadoop安装目录:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0ssh:已经安装主机名:hadoop01JDK相关配置 JAVA_HOME=/home/softwar...原创 2018-08-16 13:19:46 · 271 阅读 · 0 评论 -
Java操作HDFS
Java操作HDFSmaven仓库【阿里仓库--支持chd的下载】配置文件 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name>原创 2018-08-16 18:04:34 · 3236 阅读 · 1 评论 -
Hadoop完全分布式环境
Hadoop完全分布式环境前提条件三台虚拟机centos01、centos02、centos03【可以先将一台虚拟机配置起来,然后克隆,克隆遇到的网卡问题参考https://blog.csdn.net/eieiei438/article/details/80644261】分布式结构说明主机名称 角色 备注 centos01 NameNode DataNod...原创 2018-08-26 17:44:16 · 286 阅读 · 0 评论 -
MapReduce入门
MapReduce入门MapReduce原理图例子:单词计数图解单词计数idea项目【maven项目】 pom文件 <repositories> <repository> <id>repo</id> <url>http://repo1.maven.org/mav...原创 2018-08-17 17:01:47 · 282 阅读 · 0 评论 -
JobHistory
JobHistoryJobHistory是什么JobHistory用来记录已经finished的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml、yarn-site.xml配置,并手动启动。JobHistory怎么用 mapred-site.xml配置中添加 <property> ...原创 2018-08-20 14:56:48 · 748 阅读 · 0 评论 -
hadoop中Combiner和Partitioner
hadoop中Combiner和PartitionerCombiner是什么 Hadoop组合器类是MapReduce框架中的一个可选类,它添加在Map类和Reduce类之间,用于通过组合Map中的数据输出来减少Reduce类接收的数据量。 组合器的主要功能是汇总Map类的输出,以便能够管理来自reducer的数据处理的压力,并且可以处理网络拥塞。 怎么用 p...原创 2018-08-20 15:17:53 · 450 阅读 · 0 评论 -
Spring Boot 配置Hadoop
Spring Boot 配置Hadoop核心FsShell自动注入项目工程Maven工程Maven的setting.xml文件配置 。。。<mirror> <id>nexus</id> <mirrorOf>*,!cloudera</mirrorOf> <url>http://...原创 2018-08-27 17:38:47 · 9391 阅读 · 2 评论 -
Hadoop之日志分析
Hadoop之日志分析环境说明名称 版本 备注 宿主系统 Win7【64位】 VMware 12 虚拟机镜像 CentOS-6.5-x86_64-minimal.iso 下载地址(不同版本):http://vault.centos.org/ jdk jdk-8u65-linux-x64.tar.gz lin...原创 2018-08-24 17:09:46 · 4217 阅读 · 0 评论