qq_39261894的博客

Hadoop和HbaseHadoop和Hbase的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’： http://hbase.apache.org/book.html#basic.prerequisitesHadoop和HiveHadoop和Hive的匹配关系查看Hive的下载页面:http://hive.apache.org/dow...

一、HA-HDFS1.1 HA的核心​ HA(high avalibility)：高可用​ Hadoop集群有HDFS和YARN！Hadoop的HA指HDFS和YARN必须保证可用性强(不能轻易故障，保持24h可用)！​ 以HDFS为例：​ 必须进程：Namenode（1个）​ Danonode(N个)​ 可选进程： Secondar...

一、调度器1.调度器的分类FIFO、Capacity Scheduler 和 Fair Scheduleryarn-default.xml<property> <description>The class to use as the resource scheduler.</description> <name>yarn....

一、MR的宏观流程1.两个阶段 Map阶段和Reduce阶段2.一个MapReduce任务为一个Job，一个Job在执行不同的阶段时，启动若干TaskMap阶段启动的进程称为MapTaskMapTask启动的数量取决于切片数，切N片，启动N个MapTaskReduce阶段启动的进程称为ReduceTaskReduceTask启动的进程数量由开发人员自己设置Job.setNumRedu...

压缩原则MR支持的压缩编码压缩方式选择1. Gzip压缩2. Bzip2压缩3. Lzo压缩4. Snappy压缩压缩位置选择压缩参数配置参数默认值阶段建议io.compression.codecs（在core-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodec, org.apac...

OutputFormat 接口实现类OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。文本输出TextOutputFormat默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键值可以是任何类型，因为TextOutputFormat调用toString()方法把他们转换为字符串。Se...

GroupingComparator 辅助排序对Reduce阶段的key根据某一个或几个字段进行分组应用场景：在接收对象的key为bean时，想让一个或者多个字段相同(全属性字段值不同)的key进入到同一个reducer方法时，可以采用分组排序。GroupingComparator是在reduce阶段分组来使用的，由于reduce阶段，如果key 相同的一组，只取第一个key作为...

转载于https://www.cnblogs.com/edisonchou/p/4297786.html

默认的分区器public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to partition. */ public int getPartition(K key, V value, ...

Hadoop内置的输入文件格式类有：1）FileInputFormat<K,V> 这个是基本的父类，自定义就直接使用它作为父类。2）TextInputFormat<LongWritable,Text> 这个是默认的数据格式类。key代表当前行数据距离文件开始的偏移量，value代码当前行字符串。3）SequenceFileInputFormat<K,V> ...

#!/bin/bashparams=$@i=1for((i=101 ;i<=103 ;i=$i+1 ));do echo ==========hadoop$i $params========== ssh hadoop$i "source /etc/profile;$params"donechmod 777 xcall.sh使用：xcall.sh jps

前提条件：客户机已安装并配置好环境变量如果需要配置客户机，请查看Hadoop完全分布式集群之CentOS配置0. 集群规划hadoop101hadoop102hadoop103HDFSNameNode / DataNodeDataNodeSecondaryNameNode / DataNodeYARNNodeManagerResourceManager...

**hbase启动后 zookeeper的myid值发生改变原因是没有关闭Hbase的自带zookeeper解决方法 在hbase的conf目录下的hbase-env.sh 开启HBASE_MANAGES_ZK=false

hbase shell 输入无法使用退格键删除解决办法1、使用Ctrl + Backspace或Shift + Delete组合键删除2、修改SecureCRT的设置如果方法1不生效设置如下：也可如下设置1、使用Ctrl + Backspace或Shift + Delete组合键删除2、修改SecureCRT的设置如果方法1不生效设置如下：也可如下设置...

这是因为开启了hive的beeline进程。也可以通过 ps -ef | grep RunJar 查看对应的进程情况。

@HIve_guiliVideo统计视频观看数Top10select videoId, views from gulivideo_orc order by views desc limit 10;统计视频类别热度Top10SELECT hot, total_view FROM ( SELECT hot, ...

Hadoop完全分布式集群之CentOS配置准备客户机（关闭防火墙、静态ip、主机名称）准备客户机（关闭防火墙、静态ip、主机名称）克隆虚拟机修改克隆虚拟机的静态IP首先进入如下设置NAME，复制address进入如下设置静态ip修改主机名修改主机名关闭防火墙chkconfig iptables offreboot...