hadoop
阿杜_ardo
6年java开发经验,从事软件架构设计\需求分析\开发,大数据应用开发
展开
-
hadoop2.4.1集群搭建
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit原创 2017-11-08 22:32:24 · 183 阅读 · 0 评论 -
hadoop常用命令参数介绍
-help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能原创 2017-11-08 22:36:07 · 253 阅读 · 0 评论 -
hadoop2.6.5 linux安装
hadoop linux安装流程 今天在自己的阿里云上安装了hadoop,安装过程中遇到了一些问题,特此做下笔记记录下。 1、下载安装包(下载地址) http://mirror.bit.edu.cn/apache/hadoop/common/ 在安装hadoop之前先配置下SSH免密码登录 查看ssh版本,通过命令ssh -version 进行验证,如果出现与下原创 2017-10-23 22:42:23 · 2241 阅读 · 0 评论 -
Hadoop 2.6 日志文件和MapReduce的log文件研究心得
学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能,在这里总结一下。网上的资料并不丰富,甚至Google出来的结果也不是很满意,或许这个是太简单了,牛人都不屑来写。也可能是各个公司藏着掖着的东西。Hadoop 2.6包含两个大部分:DFS和Yarn,而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行...转载 2018-06-22 14:12:08 · 266 阅读 · 0 评论 -
MapReduce分区将结果输出到多个文件
首先自定义分区规则类 /** * Partitioner */ public static class StepToolPartitioner extends Partitioner<Text, Text>{ private static Map<String, Integer> accountMap = new HashMap<String, In...原创 2018-07-27 17:21:29 · 2506 阅读 · 0 评论