hadoop
文章平均质量分 77
白马不是马
这个作者很懒,什么都没留下…
展开
-
vmware12下contos7的安装
1.首先需要准备的工具有vmware12和contos7的系统。vmvare12下载地址:http://pan.baidu.com/s/1i5vH50Dcontos7我自己使用的为1511版本。下载地址:http://pan.baidu.com/s/1hrDerGw如果想下载其他版本的请到下面官网进行下载:https://www.centos.org/1).点击Get ...转载 2018-04-16 11:34:27 · 359 阅读 · 0 评论 -
hadoop二次排序的原理和实现
默认情况下,Map输出的结果会对Key进行默认的排序,但是有时候需要对Key排序的同时还需要对Value进行排序,这时候就要用到二次排序了。下面我们来说说二次排序1、二次排序原理 我们把二次排序分为以下几个阶段 Map起始阶段 在Map阶段,使用job.setInputFormatClass()定义的InputFormat,将输入的数据集分割成小数据块split,同时In...转载 2018-08-30 11:07:05 · 6951 阅读 · 0 评论 -
Hive 内置服务的区别
一、Hive介绍 Hive是基于Hadoop的一个数据仓库,Hive能够将SQL语句转化为MapReduce任务进行运行。 Hive架构图分为以下四部分。 1、用户接口 Hive有三个用户接口: 命令行接口(CLI):以命令行的形式输入SQL语句进行数据数据操作 Web界面:通过Web方式进行访问。 Hive的远程服务方式:通过JDBC...转载 2018-11-27 15:34:25 · 576 阅读 · 0 评论 -
Mysql,Hbase,ES的特点和区别
有句话说的好:种一棵树最好的时间是十年前,其次是现在……共勉。互联网时代各种存储框架层出不穷,眼花缭乱,比如传统的关系型数据库:Oracle、MySQL;新兴的NoSQL:HBase、Cassandra、Redis;全文检索框架:ES、Solr等。如何为自己的业务选取合适的存储方案,相信大家都思考过这个问题,本文简单聊聊我对MySQL、HBase、ES的理解,希望能和大家一起探讨进步,有不对的...转载 2019-01-17 16:04:40 · 1546 阅读 · 0 评论