- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据实训第四天--创建数据库以及对其数据进行FINEBI可视化处理
首先需要下载一个插件，之后在数据管理段创建一个连接端口，注意主机名和ip地址不要写错，否则会导致连接失败。之后将生成的图表导入到Finebi中进行数据可视化的操作。创建数据库需要先在虚拟机端口中将数据文件导入到data中，要不然创好的数据库里没有相关数据。根据自己创建的表和需求进行操作。二·连接hive与Finebi。今天比较充实，但很值得。
2024-04-25 22:04:02
209
5
原创 大数据实训第三天--Hive
其中【】里代表可写可不写，EXTERNAL是创建外部表，col_name是列名，data_type是数据类型，PARTITIONED BY 是分区表，CLUSTERED BY是分桶表，STORED BYS是存储格式，LOCATION是存储位置。数据库（操作型处理）是一个用于存储和管理数据的系统，通常用于支持应用程序的数据存储和访问。数据仓库（分析型处理）是一个用于存储和管理大量数据的系统，通常用于支持企业的决策制定和分析。数据库是面向事务的设计，数据仓库是面向主题设计的。源数据层，数据仓库层，数据应用层。
2024-04-24 22:17:57
672
4
原创 大数据实训第二天-HDFS
同时，HDFS的架构设计也为数据的备份和容错提供了良好的保障，确保数据的安全性和可靠性。而Hadoop非常适合用于对大量数据进行存储，HDFS就是HADOOP的一个子项目，其功能是作为存储系统可以使用多台计算机存储文件，并提供统一的访问接口。可以将每个文件存储成一系列的数据块，为了容错，文件的所有数据块大小和副本系数都是可配置的。同时在不同的主机中还分别重复存储的不同的数据块用来确保其中一个出现错误，有备份的数据可以继续系统正常运行。（图片用的PPT里面的，老师今天下午讲的那个有自己画的主机的没拍下来）
2024-04-23 20:11:31
536
3
原创 大数据实训第一天 —了解hadoop以及大数据基本特点
它基于Google的MapReduce思想和Google File System（GFS）的概念，通过分布式存储和计算，实现对大数据的高效处理和分析。它通过分布式存储和计算的方式，能够有效地处理海量数据，实现高可靠性和高性能的数据处理和分析。数据类型多样：大数据不仅包括结构化数据（如数据库中的表格数据），还包括半结构化数据（如XML、JSON等格式）和非结构化数据（如文本、图像、音频、视频等）。多样的数据类型需要不同的处理方法和工具。这些数据来源的多样性使得大数据具有更广泛的应用场景和更丰富的信息内容。
2024-04-22 21:17:55
499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人