- 博客(4)
- 收藏
- 关注
RSS订阅原创 所需知识及其感悟
在过程中，我们遇到了一些困难和挫折，经过思考应对策略，不断调整自己的思路。与团队成员的协作也让我印象深刻。团队的力量是无穷的，我们在合作中发挥出了更大的潜力。不仅让我在技能上得到了提升，更让我在心态上变得更加成熟。此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。即也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。根据报表、专题分析需求而计算生成的数据。
2024-04-25 20:05:48
135
2
原创 数仓和数据库 数据库操作 数据表操作
面向主题的（Subject-Oriented ）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ） 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的。没有专门的临时数据库（ODS），这意味着数据会立即加载到单一的集中存储库中,数据在数据仓库系统中直接进行转换，然后进行分析。数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。
2024-04-24 21:14:37
1429
原创 Hadoop集群使用 HDFS文件系统
HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统.在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。管理 HDFS 元数据（文件路径，文件的大小，文件的名字，文件权限，文件的block切片信 息…
2024-04-23 20:20:21
755
2
原创 实习第一天
今天是我实习的第一天，上午老师主要讲了数据导论，大数据诞生，大数据概述，大数据软件生态和大数据的分析过程。我从中学到了 1. Hadoop 是开源的技术框架， 提供分布式存储、 计算、 资源 调度的解决方案 2. Hadoop 的发展 3. Hadoop 的版本。今天的学习过程，我觉的通过思考，收获了很多。我从中学到了分布式和集群的区别，Hadoop是主从模式的架构，了解了HDFS的架构和shell命令。通过今天的学习，我对 Hadoop 有了初步的了解和认识，也感受到了它在大数据处理中的重要性。
2024-04-22 20:44:31
323
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人