大数据
文章平均质量分 77
时下握今
好好学习、天天向上; 喜欢代码,热爱时间
展开
-
Itellij idea 中HDFS API 访问HDFS报错:org.apache.hadoop.security.AccessControlException
【代码】Itellij idea 中HDFS API 访问HDFS报错:org.apache.hadoop.security.AccessControlException Permission denied: user=Administrator, access=READ_EXECUTE,原创 2023-03-01 12:45:23 · 371 阅读 · 0 评论 -
Hive中数据库和表的操作(HSQL)
数仓管理工具Hive可以将HDFS文件中的结构化数据映射成表,利用HSQL对表进行分析,HSQL的底层运行机制,默认是MapReduce计算,也可以替换成Spark、Tez、Flink计算结果存储在HDFS,像Hive中的库、表、字段、表所属库、表的数据所在目录、分区等信息称为元数据,元数据默认存储在自带的derBy数据库,也可以切换MySQL、Postgres、Oracle、MS SQL Server存储元数据,对应的库为hive数据库实例,对应的元数据表为hive数据库实例下的表。原创 2023-02-25 22:51:24 · 1433 阅读 · 1 评论 -
Hadoop配置文件常用配置-Yarn容器调度策略配置
Yarn的容器资源调度策略,实现任务隔离原创 2023-02-19 13:19:54 · 476 阅读 · 0 评论 -
MySQL存储引擎InnoDB架构
本文讲述了MySQL- InnoDB存储引擎的内存结构和磁盘结构,适用于MySQL数据库运维人员及性能调优阅读原创 2022-11-30 18:39:43 · 1452 阅读 · 1 评论 -
一条Select语句在MySQL-Server层的执行过程
一条Select语句在Mysql逻辑结构Server层的执行流程原创 2022-11-29 17:00:52 · 507 阅读 · 0 评论 -
数据仓库理论概览
数层分层Source:业务原系统日志服务器ODS: Operational Data Store操作型数据仓库贴源层,不做任何数据处理范式建模DW:Data Warehouse数据仓库层数据仓库是所有操作环境和外部数据源的快照集合。遵守建模标准,维度建模包括:DWD数据明细层、DWS数据汇总层和DWM数据中间层DM: DATA MART数据集市完整的数据仓库的一个逻辑子集,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可以称为部门数据或主题数据原创 2021-05-25 16:34:09 · 195 阅读 · 0 评论