hive级联求和、三大框架的搭建以及echarts的基本使用

hive级联求和create table t_salary_detail(username string,month string,salary int)row format delimited fields terminated by ‘,’;load data local inpath ‘/export/servers/weblog/accumulate.txt’ into table t_salary_detail;用户 时间 收到小费金额A,2015-01,5A,2015-01,15B
摘要由CSDN通过智能技术生成

hive级联求和

create table t_salary_detail(username string,month string,salary int)
row format delimited fields terminated by ‘,’;

load data local inpath ‘/export/servers/weblog/accumulate.txt’ into table t_salary_detail;

用户 时间 收到小费金额
A,2015-01,5
A,2015-01,15
B,2015-01,5
A,2015-01,8
B,2015-01,25
A,2015-01,5
A,2015-02,4
A,2015-02,6
B,2015-02,10
B,2015-02,5
A,2015-03,7
A,2015-03,9
B,2015-03,11
B,2015-03,6

在这里插入图片描述
需求:统计每个用户每个月总共获得多少小费
select username,month,sum(salary)
from t_salary_detail
group by username,month;
在这里插入图片描述
需求:统计每个用户累计小费
注意:累计求和其实就是使用inner join通过自己连接自己来实现
select sum(bsumal) from(
select a.month as amonth,a.username as ausername,asumal,b.month as bmonth,b.username as busername,bsumal
from
(select username,month,sum(salary) as asumal
from t_salary_detail
group by username,month) a
inner join (select username,month,sum(sal

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建一个运用了Hive和Spark技术的框架可以按照以下步骤进行: 1. 安装Hadoop集群:首先需要搭建一个Hadoop集群,作为底层的分布式存储和计算平台,可使用工具如Apache Ambari或Cloudera Manager来简化安装和管理。 2. 安装Hive:在Hadoop集群上安装Hive,通过Hive可以使用类SQL语言对数据进行查询和分析。可以选择使用Hive的原生安装包或者集成在Hadoop发行版中。 3. 安装Spark:在Hadoop集群上安装Spark,Spark是一个快速的大数据处理框架,可以通过Spark进行数据处理、分析和机器学习等任务。同样可以选择使用原生安装包或者集成在Hadoop发行版中。 4. 配置Hive和Spark的集成:在Hive配置文件中启用Hive on Spark功能,这样Hive可以利用Spark作为计算引擎来执行查询任务。配置文件通常是hive-site.xml。 5. 数据存储和管理:将数据存储到Hadoop分布式文件系统(HDFS)中,然后使用Hive进行数据管理和查询。可以通过Hive的表定义来创建表、分区、索引等,还可以使用HiveQL语言进行数据查询和转换。 6. 利用Spark进行计算:通过Spark的API或者Spark SQL来编写和执行计算任务,可以直接从Hive表中读取数据进行处理,也可以将计算结果存储回Hive表中。 7. 优化性能:根据具体需求和数据规模,对Hive和Spark进行性能调优,例如通过调整并行度、资源分配、数据分区等来提高查询和计算的效率。 8. 监控和管理:使用适当的监控工具来监控集群的运行状态,例如Ambari或Cloudera Manager。此外,定期进行系统维护和升级,确保系统的稳定性和安全性。 以上是一个基本搭建框架的步骤,具体的实施可能会因环境和需求而有所不同。建议在搭建之前充分了解Hive和Spark的特性和用法,并参考官方文档和社区资源进行配置和调优。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值