- 博客(4)
- 收藏
- 关注
原创 大数据实训第四天
Recipient_accounts string comment"收件人账号",Recipient_system string comment"收件人系统",Recipient_GPS string comment"收件人GPS",Recipient_sexy string comment"收件人性别",Recipient_IP string comment"收件人IP",Sender_GPS string comment"发送人GPS",msg_type string comment"消息类型",
2024-04-25 22:07:08 618
原创 大数据实训第三天体验
数据库是面向事务的设计,数据仓库是面向主题设计的。数据库是为捕获数据而设计,数据仓库是为分析数据而设计数据库设计是尽量避免冗余,一般针对某一业务应用进行设计,比如一张简单的User表,记录用户名、密码等简单数据即可,符合业务应用,但是不符合分析。数据仓库层(DW):也称为细节层,DW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。今天实训的第三天学习了在Hive中使用SQL来处理数据,数据仓库和数据库的区别,数据库创建和删除的语法,创建表的语法等等。
2024-04-24 22:01:48 581
原创 大数据实训第二天心得体会
今天是实训第二天,主要学习了Hadoop的一些简单的命令,HDFS的概述,集群的搭建,Apache Hive的概述,以及Hive的基础架构。hadoop fs -mkdi [-p] 作用:以中的URI作为参数,创建目录。hadoop fs -mv 作用:将hdfs上的文件从原路径src移动到目标路径dst。hadoop fs -put /root/1.txt /dir1 作用:上传文件。hadoop fs -cat作用:将参数所指示的文件内容输出到控制台。
2024-04-23 20:05:14 273 2
原创 大数据实训第一天体会
它基于Google的MapReduce和Google File System(GFS)的研究成果,旨在解决传统数据库和数据处理工具无法处理大数据的问题。大数据是指规模庞大、种类繁多的数据集合,这些数据量大到传统的数据处理工具难以处理。大数据的应用领域涵盖了各个行业,包括金融、医疗、零售、交通等。通过对大数据的分析和挖掘,可以帮助企业更好地了解市场趋势、顾客需求、产品优化等,从而做出更明智的决策。大数据技术包括数据采集、存储、处理、分析和可视化等环节,其中涉及到的技术有数据挖掘、机器学习、人工智能等。
2024-04-22 21:07:32 456 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人