- 博客(4)
- 收藏
- 关注
原创 项目报表实战
统计每小时消息量、发送和接收用户数。、统计发送人的设备操作系统分布情况。、统计发送人的手机型号分布情况。、统计发送人的网络类型分布情况。、统计今日发送和接收用户数。、统计发送消息各地区数据量。、统计今日发送消息最多的。
2024-04-25 22:35:14
294
5
原创 分布式sql 计算Hive实操(1)
数据库设计是尽量避免冗余,一般针对某一业务应用进行设计,比如一张简单的User表,记录用户名、密码等简单数据即可,符合业务应用,但是不符合分析。数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的。create external table [if not exists] 内部表名(create table [if not exists] 内部表名(数据库是为捕获数据而设计,数据仓库是为分析数据而设计。数据库是面向事务的设计,数据仓库是面向主题设计的。
2024-04-24 19:40:03
855
3
原创 Hadoop集群使用
Hadoop集群分为HDFS集群(NameNode,DataNode,SecondaryNameNode)和YARN集群(ResourceManager,NodeManager)这种部署模式下,主节点和从节点会分开部署在不同的机器上。集群搭建方式有两种,分别是Standalone mode(单机模式)和Cluster mode(集群模式)3.mv 命令 能够将hdfs上的文件从原路径src移动到目标路径dst。删除参数指定的文件和目录,参数可以有多个,删除目录需要加-r参数。可在普通廉价的机器上运行。
2024-04-23 21:15:33
327
原创 Hadoop入门学习心得
1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。2.集群概念:所谓集群是指一组独立的计算机系统构成的一多处理器系统,它们之间通过网络实现进程间的通信,让若干台计算机联合起来工作(服务。分布式是指将多台服务器集中在一起,每台服务器都实现总体中的不同业务,做不同的事情。分布式 :分布式的主要工作是分解任务,将职能拆解,多个人在一起做不同的事。,可以是并行的,也可以是做备份。
2024-04-22 21:31:19
301
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人