![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 57
饮水思源09
饮水思源09
展开
-
hvie启动及基本命令
HIVE的启动及基本命令Hive基本操作(1)启动hive[atguigu@hadoop102 hive]$ bin/hive(2)查看数据库hive> show databases;(3)打开默认数据库hive> use default;(4)显示default数据库中的表hive> show tables;(5)创建一张表hive> create table student(id int, name string);(6)显示数据库原创 2022-05-19 19:19:15 · 954 阅读 · 0 评论 -
关于数据治理平台中数据仓库ODS、DW和DM概念理解
数据仓库ODS、DW和DM概念理解最近在做数据治理项目,里面有些专业名词,如ODS、DW、DM,现特意将其梳理出来,便于掌握ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构数据中心整体架构数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。2.数据仓库的ODS、DW和DM概念o...原创 2021-04-30 10:10:40 · 1224 阅读 · 1 评论 -
数据仓库组件hive常用命令
1、使用xshell登录至hive服务器内,输入hive进入hive数据库,如图所示:2、查看hive中的所有数据库:show databases;3、用default数据库:use default;4、查看所有的表:show tables;5、查询表结构:desc mytest(表名);6、查询表数据: select * from mytest(表名);7、创建数据库:hive> CREATE SCHEMA userdb;8、验证数据库表:hive> ...原创 2021-02-26 15:43:45 · 930 阅读 · 0 评论 -
ETL之Kettle工具十大功能特性详解
概述Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行。说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用。今天主要先描述ETL工具的通用功能。ETL工具的功能之一:连接任何ETL工具都应该有能力连接到类型广泛的数据源和数据格式。对于最常用的关系型数据库系统,还要提供本地的连接方式(如对于Oracle的OCI),ETL应该能提供下面最基本的功能:(1)连接到普通关系型数据库并..转载 2020-09-10 17:07:56 · 5617 阅读 · 0 评论 -
大数据组件图谱
大数据组件图谱文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台文件系统HDFSHadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统,支持PB...转载 2020-08-17 23:35:32 · 1529 阅读 · 0 评论 -
大数据平台最常用的30款开源工具
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各类技术。本文整理出了大数据平台常见的一些开源工具,并且依据其主要功能进行分类,以便大数据学习者及应用者快速查找和参考。▲ 大数据平台常见的一些工具汇集主要包含:语言工具类、数据采集工具、ETL工具、数原创 2020-07-24 18:33:11 · 2607 阅读 · 1 评论