大数据时代
文章平均质量分 72
大数据学习过程记录
安然e
这个作者很懒,什么都没留下…
展开
-
数据仓库与数据库的区别
对比内容 数据库 数据仓库 数据内容 近期值、当前值 历史的、归档的数据 数据目标 面向业务操作 面向管理决策、面向分析(主题) 数据特性 动态频繁更新 静态、不能直接更新;定时添加数据 数据结构 高度结构化,满足第三范式 简单的、冗余的、满足分析的 使用频率 高 低 数据访问量 访问量大;但每次访问的数据量小 访问量小;但每次访问的数据量大 对响应时间的要求 高 低(不敏感) .原创 2021-03-12 00:10:04 · 222 阅读 · 0 评论 -
HDFS分布式文件系统
一、HDFS简介HDFS(全称:Hadoop Distribute FileSystem,Hadoop分布式文件系统)是Hadoop的核心组成,是 分布式文件存储服务分布式系统横跨原创 2021-03-08 23:26:02 · 297 阅读 · 1 评论 -
Hadoop完全分布式集群搭建
前言Hadoop是Java语言编写的,需要Java环境(JVM) JDK版本:jdk8版本一、服务器环境准备(在此使用虚拟机)1.三台虚拟机(静态IP,关闭防火墙,修改主机名,配置免密登陆,集群主机时间同步)2.在/opt下创文件夹mkdir /opt/software --软件包存放目录mkdir /opt/servers --软件安装目录3.Hadoop的下载地址:https://archive.apache.org/dis/hadoop/common/原创 2021-02-24 22:29:37 · 260 阅读 · 0 评论 -
Hadoop简介
一、什么是Hadoop?Hadoop是一个适合大数据的分布式存储和计算平台(框架平台/技术生态圈)Hadoop生态圈技术栈 Hadoop(HDFS + MapReduce + Yarn) Hive数据仓库工具 HBase海量列式非关系型数据库 Flume数据采集工具 Sqoop ETL工具 Kafka高吞吐消息中间件 . . . . . . . . 二、Hadoop的特点扩容能力(Scalable):Hadoop在...原创 2021-02-23 00:25:45 · 256 阅读 · 1 评论