![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
Y.W.L.
做自己
展开
-
Windows下开发hadoop的MapReduce
首先,先说下流程吧:1、安装Eclipse(MyEclipse/intellij IDEA)2、将hadoop-eclipse-plugin-2.6.0.jar(这个jar百度下应该是有的)这个jar放在Myeclipse的安装目录的plugins3、在Windows解压hadoop-2.5.0.tar.gz,然后配置hadoop的环境变量(贴两个图上来,就不具体说了,这不就跟配置jdk是一样的嘛...原创 2018-05-09 16:29:54 · 512 阅读 · 0 评论 -
Yarn 调度器Scheduler详解
转载文章理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调...转载 2018-05-16 16:53:41 · 507 阅读 · 0 评论 -
国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程
转载本文:吴超沉思录前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂。对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减。不过,我有免费的学习视频下载,请点击这里。 hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障、资源利用率低、支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势。当然,配置也...转载 2018-05-16 17:04:18 · 486 阅读 · 0 评论 -
hive 特殊数据类型 【array、map、struct】使用
hive提供了复合数据类型:Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域aMaps(K-V对):访问指定域可以通过["指定域名称"]进行,例如,一个Map M包含了一个group-》gid的kv对,gid的值可以通过M['group']来获取Arrays:array中的数据为相同类...转载 2018-06-06 15:49:31 · 833 阅读 · 0 评论 -
Hadoop完全分布式 -- HA配置
以3台机器配置 hadoop HA 为例hadoop CDH版本:hadoop-2.6.0-cdh5.15.0.tar.gzzookeeper CDH版本:zookeeper-3.4.5-cdh5.15.0.tar.gz【前提工作】一、配置好3台虚拟机 hosts$ vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost...原创 2018-06-22 17:50:53 · 6861 阅读 · 1 评论 -
sqoop--mysql表导入hive
mysql 导入 hive 如果使用之前的方式 需要3个步骤: 1、mysql -> HDFS 2、创建hive表 3、将数据load到hive表中 如果可以直接把mysql的数据导入hive中进行分析,会相当的方便 bin/sqoop import \ --connect jdbc:mysql://[hostname]:3306/sqoop \ --username root \ --pa...原创 2018-06-08 11:17:45 · 395 阅读 · 0 评论 -
phoenix(凤凰)与hbase集成
一、Phoenix 特点 phoenix:可以类似于mysql,作为客户端JDBC的驱动对hbase中的数据进行低延迟的访问 内部将sql查询语句编译成hbase内部的一系列scan操做二、phoenix下载1、点击连接<apache仓库>下载2、点击连接<官网下载>下载三、安装phoenix 1、解压 $ tar -zxf apache-...原创 2018-06-27 10:29:21 · 23061 阅读 · 5 评论