![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
liuzd1114
这个作者很懒,什么都没留下…
展开
-
Sqoop辅助工具学习
概述Apache Sqoop(TM)是一种旨在在Apache Hadoop和结构化数据存储(例如关系数据库)之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。安装1、访问sqoop的网址http://sqoop.apache.org/,选择相应的sqoop版本下载,本案例选择下载的是1.4.7,下载完相应的工具包后,解压Sqoop:[root@CentOS ~]# tar -zxf sqoop-1.4.7.bin__had原创 2020-10-18 14:52:09 · 117 阅读 · 0 评论 -
基于Hadoop的Hive BI分析学习
Apache Hive背景Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL-Extract-Transform-Load),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型,Hive 将用户的HiveQL 语句通过解释器转换为提交到Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。 Hive 并非为联机事务原创 2020-10-18 14:25:20 · 673 阅读 · 0 评论 -
基于Hadoop的HBase分布式数据库(NoSQL)
Apache HBase介绍HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop的HDFS之上提供了类似于Bigtable的能力。HDFS和HBase之间的关系HBase的全称Hadoop Database,HBase是构建在HDFS之上的一款数据存储服务,所有的物理数据都原创 2020-10-18 14:03:50 · 1380 阅读 · 0 评论 -
Apache Hadoop学习
typora-root-url: imageApache Hadoop背景随着信息化互联网|物联网发展要求,万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。JavaWeb:为了应对高并发和分布式提出的是LNMP(Linux、Nginx、MySQL、PHP)思想。海量数据存储|数据分析 :存储方案(HDFS)、计算方案(Map Reduce、Storm 、 Spark 、 Flink)大数据背景**分布式:*.原创 2020-09-27 15:26:38 · 787 阅读 · 1 评论