2015年09月_安伦_Alan

12月 11月 10月 09月 08月 03月

原创 sqoop工具使用大全

=====================================================一、将数据从关系型数据库导入Hadoop中=====================================================1、Sqoop import使用sqoop import \--connect jdbc:mysql://mysql.ex

2015-09-17 16:23:48 771

原创 hive之HQL用法案例

建库：hive> CREATE DATABASE IF NOT EXISTS mydb;建表：Hive默认分隔符：\n 记录间的分割符，默认一行一条记录^A (“control” A) 列分隔符，通常写成“\001”^B ARRAY或

2015-09-16 16:08:18 747

原创 YARN资源管理和调度简介

1、运行在YARN上的MapReduce应用程序2、运行在YARN上的Storm应用程序3、YARN应用程序基本构成①客户端：主要作用是提供一系列访问接口供用户与YARN交互，包括提交Application、查询Application运行状态，修改Application属性（比如优先级）等。②ApplicationMaster：向ResourceMana

2015-09-09 13:58:52 1794

原创 hadoop一些常见的案例（更新中）

案例1：新增节点，新节点没有任何数据，但是旧节点已经存储了很多数据，那么，怎么把旧节点的数据移动到新节点呢？数据块重分布sbin/start-balancer.sh -threshold percentage of disk capacityHDFS达到平衡状态的磁盘使用率偏差值值越低各节点越平衡，但消耗时间也更长这是一个进程，启动之后他就会在后台不停的扫描，从而进行负

2015-09-07 17:16:55 724

原创 hadoop上作业执行方法

脚本:例1：#!/bin/bashHADOOP_HOME=/home/alan/hadoop/hadoop-0.20.2-cdh3u6${HADOOP_HOME}/bin/hadoop jar\ ${HADOOP_HOME}/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar\ -files wc_

2015-09-07 13:44:18 565 1

原创 ubuntu 安装hadoop_cdh5.4.1步骤

1、配置ip并修改主机名sudo vi /etc/hostname2、主机名解析sudo vi /etc/hostsscp hosts hadoop@datanode1:/etcscp hosts hadoop@datanode2:/etcscp hosts hadoop@datanode3:/etc3、关闭防火墙sudo ufw disable4、免密

2015-09-06 17:29:53 740

原创 HDFS HA+Federation的部署（多机）-配置文件

2015-09-06 15:04:21 740

原创 HDFS HA部署（多机）——配置文件

2015-09-06 14:14:31 553

原创 Hadoop2+HA+YARN环境搭建

一、前期准备四台机子，配置如下：[root@datanode1 usr]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.loca

2015-09-02 14:23:13 585

转载 Hadoop 2.0生产环境（多机）搭建方法

步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；步骤3：格式化并启动HDFS；步骤4：启动YARN。

2015-09-01 14:24:25 770