- 博客(10)
- 资源 (10)
- 收藏
- 关注
原创 sqoop工具使用大全
=====================================================一、将数据从关系型数据库导入Hadoop中=====================================================1、Sqoop import使用sqoop import \--connect jdbc:mysql://mysql.ex
2015-09-17 16:23:48 771
原创 hive之HQL用法案例
建库:hive> CREATE DATABASE IF NOT EXISTS mydb;建表:Hive默认分隔符:\n 记录间的分割符,默认一行一条记录^A (“control” A) 列分隔符,通常写成“\001”^B ARRAY或
2015-09-16 16:08:18 747
原创 YARN资源管理和调度简介
1、运行在YARN上的MapReduce应用程序2、运行在YARN上的Storm应用程序3、YARN应用程序基本构成①客户端 :主要作用是提供一系列访问接口供用户与YARN交互,包括提交Application、查询Application运行状态,修改Application属性(比如优先级)等。②ApplicationMaster: 向ResourceMana
2015-09-09 13:58:52 1794
原创 hadoop一些常见的案例(更新中)
案例1:新增节点,新节点没有任何数据,但是旧节点已经存储了很多数据,那么,怎么把旧节点的数据移动到新节点呢?数据块重分布sbin/start-balancer.sh -threshold percentage of disk capacityHDFS达到平衡状态的磁盘使用率偏差值值越低各节点越平衡,但消耗时间也更长这是一个进程,启动之后他就会在后台不停的扫描,从而进行负
2015-09-07 17:16:55 724
原创 hadoop上作业执行方法
脚本:例1:#!/bin/bashHADOOP_HOME=/home/alan/hadoop/hadoop-0.20.2-cdh3u6${HADOOP_HOME}/bin/hadoop jar\ ${HADOOP_HOME}/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar\ -files wc_
2015-09-07 13:44:18 565 1
原创 ubuntu 安装hadoop_cdh5.4.1步骤
1、配置ip并修改主机名sudo vi /etc/hostname2、主机名解析sudo vi /etc/hostsscp hosts hadoop@datanode1:/etcscp hosts hadoop@datanode2:/etcscp hosts hadoop@datanode3:/etc3、关闭防火墙sudo ufw disable4、免密
2015-09-06 17:29:53 740
原创 HDFS HA+Federation的部署(多机)-配置文件
配置文件具体内容:1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE
2015-09-06 15:04:21 740
原创 HDFS HA部署(多机)——配置文件
配置文件内容:1、hadoop-env.sh# Copyright 2011 The Apache Software Foundation# # Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE f
2015-09-06 14:14:31 553
原创 Hadoop2+HA+YARN环境搭建
一、前期准备四台机子,配置如下:[root@datanode1 usr]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.loca
2015-09-02 14:23:13 585
转载 Hadoop 2.0生产环境(多机)搭建方法
步骤1:将安装包hadoop-2.2.0.tar.gz存放到某一目录下,并解压;步骤2:修改解压后的目录中的文件夹etc/hadoop下的xml配置文件(如果文件不存在,则自己创建),包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml;步骤3:格式化并启动HDFS;步骤4:启动YARN。
2015-09-01 14:24:25 770
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人