hive
叶子不落
这个作者很懒,什么都没留下…
展开
-
大数据介绍及hadoop简介
1、什么是大数据?大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据的特征4V特征:Volume(大数据量):90% 的数据是过去两年产生Velocity(速度快):数据增长速度快,时效性高Variety(多样化):数据种类和来源多样化结构化数据、半结构化数据、非结构化数据Value(价值密度低):需挖掘获取数据价值固有特征:时效性不可变性2、分布式计算分布式计算将较大的数据分成小的部分进行处理** **传统分布式计算新的分布式原创 2020-07-17 16:13:22 · 301 阅读 · 0 评论 -
MapReduce详细流程介绍(图文并茂)
详解:整个数据处理流程分为map task 和reduce task 两部分,map task负责map阶段的数据处理,reduce task负责reduce阶段的数据处理。map task 读文件的时候通过InputFormat中将文本进行切片,再通过RecordReader中的read方法将文件内容读取,返回键值对,key是文本的行号,value是对应的该行的值,然后我们使用Mapper中的map方法对键值对进行处理形成新的键值对,每个键值对都会调用一次map方法。然后通过context的wr.原创 2020-06-10 23:10:40 · 629 阅读 · 0 评论 -
基于Hadoop的数据仓库解决方案-Hive简介
1、什么是Hive?Hive简单用一句话概括就是基于Hadoop的数据仓库解决方案,它始于2007年的FaceBook,官方网站是hive.apache.org。Hive的作用主要是作为一种数据仓库用来存储数据,它可以将结构化的数据文件映射为数据库表,提供类sql的查询语言HQL(Hive Query Language),虽然Hive基于Hadoop生态环境,但是Hive的强大也让更多的人使用起了Hadoop。在这里我要重点提一个地方,什么是数据仓库,和数据库只有一字之差,它们之间有啥区别呢?数据库原创 2020-06-10 22:54:36 · 391 阅读 · 0 评论 -
基于Linux系统的HIVE安装
在安装HIVE之前需要在Linux上安装好mysql、hadoop和zookeeper。在这里我介绍一下zookeeper和hive的安装。zookee安装没有安装包的可以评论私发你,或者自己去网上找安装包。1、下载安装包通过xftp将安装包放到Linux中的opt文件夹中。2、安装包解压tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到opt下的soft文件夹中,我把我的软件基本都放在了这个文件夹,你们随意。mv zookeepe原创 2020-06-09 20:15:55 · 321 阅读 · 0 评论