Hadoop大数据
文章平均质量分 57
本人在日常学习中遇到的或者做过的hadoop实验,想法以及作业分享
兜里没有一毛钱
这个作者很懒,什么都没留下…
展开
-
Spark Streaming实时计算实例
依赖需要根据自己的idea版本需求和电脑安装的插件来配置,配置完成会自己启动下载,如果没有下载,只需要点击idea右侧测定maevn就会自动下载了。3.编写程序,使用updateStateByKey()方法对nc客户端不断输入的内容进行实时的词频统计。2.创建一个Maven工程,在pom.xml文件中添加Spark Streaming依赖。1.运行nc,模拟数据源。nc -lk 9999启动服务端且监听Socket服务。编写Spark Steaming应用程序,实现实时词频统计。原创 2023-05-01 21:01:12 · 516 阅读 · 0 评论 -
Spark求商品的平均点击次数
【代码】Spark求商品的平均点击次数。原创 2023-05-08 12:18:45 · 157 阅读 · 0 评论 -
基于Java API方式使用Kafka实现生产者与消费者实例
2、在实验前,需在idea中创建一个名为spark_chapter06的Maven工程,在pom.xml文件中添加Kafka依赖,在此需要注意Kafka依赖与安装的Kafak版本一致,不然容易导致无法运行,或者运行出现问题,解决起来很麻烦。1、通过Kafka API来创建KafkaConsumerTest 对象,用来消费Kafka集群中的信息数据。4、创建Java目录,在Java目录里面创建KafkaProducerTest 文件用来实现生产信息数据并将数据发送到Kafka集群。原创 2023-05-04 16:36:57 · 982 阅读 · 0 评论 -
Spark作业求学生平均成绩
安装好Idea软件,最好不要用最新版,并且在idea里插入scala插件。给定一组数据,通过spark编程实验实现每名学生的平均成绩,并且。最后确定就在idea里装好scala插件了,接下来就可以实验了。2001501 李小明 88 91 86。2001503 刘成东 62 71 58。2001505 刘小小 75 62 53。2001504 铙刚 79 85 83。2001506 王艳 88 91 93。2001507 李远 81 78 83。学号 姓名 语文 数学 英语。原创 2023-05-06 19:25:47 · 714 阅读 · 0 评论 -
Spark SQL作业统计并输出前十名学生成绩并排序
Spark SQL作业统计并输出前十名学生成绩并排序原创 2023-04-29 11:55:15 · 1160 阅读 · 1 评论