sparkstreaming实时流处理项目（七）

最新推荐文章于 2021-03-03 13:53:54 发布
最新推荐文章于 2021-03-03 13:53:54 发布
阅读量1k 收藏 4
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35688140/article/details/88856946
版权

1.搭建springboot

先选择spring initializr -> next在这里插入图片描述
创建项目名称
在这里插入图片描述
选择web版本
在这里插入图片描述
选择目录
在这里插入图片描述
因为自定义maven，删除了关于的文件目录结构
在这里插入图片描述
编写一个helloworld：

package com.qianliu.spark.web;

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;

//@RestController注解表示HelloBoot的生命周期交给RestController来管理
@RestController
public class HelloBoot {

    //@RequestMapping映射该方法
    //value = "/hello"表示访问的链接是：/hello
    //method = RequestMethod.GET表示请求的方法是：get
    @RequestMapping(value = "/hello",method = RequestMethod.GET)
    public String sayHello(){
        return "hello spring boot!";
    }
}

运行该程序：
在这里插入图片描述
访问：http://localhost:8080/hello
在这里插入图片描述

2.使用echarts

五分钟上手官方教程：
https://www.echartsjs.com/tutorial.html#5 分钟上手 ECharts

将下载好的echart包引入到springboot中
在这里插入图片描述
在application.properties中设置相关的配置
在这里插入图片描述

编写test.html:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Echarts</title>
    <!-- 引入 echarts.js -->
    <script src="echarts/echarts.common.min.js"></script>
</head>
<body>
    <!-- 为ECharts准备一个具备大小（宽高）的Dom -->
    <div id="main" style="width: 600px;height:400px;"></div>
    <script type="text/javascript">
        // 基于准备好的dom，初始化echarts实例
        var myChart = echarts.init(document.getElementById('main'));

        // 指定图表的配置项和数据
        var option = {
            title: {
                text: 'ECharts 入门示例'
            },
            tooltip: {},
            legend: {
                data:['销量']
            },
            xAxis: {
                data: ["衬衫","羊毛衫","雪纺衫","裤子","高跟鞋","袜子"]
            },
            yAxis: {},
            series: [{
                name: '销量',
                type: 'bar',
                data: [5, 20, 36, 10, 10, 20]
            }]
        };

        // 使用刚指定的配置项和数据显示图表。
        myChart.setOption(option);
    </script>
</body>
</html>

在这里插入图片描述
引入thymeleaf模板化语言：
在这里插入图片描述
在hellospringboot下加入：

@RequestMapping(value = "/test",method = RequestMethod.GET)
    public ModelAndView getindex(){
        return new ModelAndView("test"); //test表示的是resources/templates/test.html
    }

启动WebApplication下的main函数来启动springboot：
在这里插入图片描述

3.调整springboot

test.html改为如下所示：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Echarts</title>
    <!-- 引入 echarts.js -->
    <script src="echarts/echarts.common.min.js"></script>
</head>
<body>
    <!-- 为ECharts准备一个具备大小（宽高）的Dom -->
    <div id="main" style="width: 600px;height:400px;position: absolute;top: 50%;left: 50%;margin-top: -200px;margin-left: -300px;"></div>
    <script type="text/javascript">
        // 基于准备好的dom，初始化echarts实例
        var myChart = echarts.init(document.getElementById('main'));

        option = {
            title : {
                text: '慕课网课程浏览量实时统计',
                subtext: '实施课程访问次数',
                x:'center'
            },
            tooltip : {
                trigger: 'item',
                formatter: "{a} <br/>{b} : {c} ({d}%)"
            },
            legend: {
                orient: 'vertical',
                left: 'left',
                data: ['直接访问','邮件营销','联盟广告','视频广告','搜索引擎']
            },
            series : [
                {
                    name: '访问来源',
                    type: 'pie',
                    radius : '55%',
                    center: ['50%', '60%'],
                    data:[
                        {value:335, name:'直接访问'},
                        {value:310, name:'邮件营销'},
                        {value:234, name:'联盟广告'},
                        {value:135, name:'视频广告'},
                        {value:1548, name:'搜索引擎'}
                    ],
                    itemStyle: {
                        emphasis: {
                            shadowBlur: 10,
                            shadowOffsetX: 0,
                            shadowColor: 'rgba(0, 0, 0, 0.5)'
                        }
                    }
                }
            ]
        };

        // 使用刚指定的配置项和数据显示图表。
        myChart.setOption(option);
    </script>
</body>
</html>

com.qianliu下的包如图所示：
备注：springboot扫描器扫描的时候会扫描WebApplication平级的目录，为了使spark，dao，domain，utils与其平级，故放在一同一级目录下。

在这里插入图片描述

4.编写访问hbase的配置文件

引入hbase的包：

<!-- HBase 依赖-->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
        </dependency>

在服务器上启动hbase

#启动zookeeper
zkServer.sh start
#启动hdfs
start-dfs.sh
#启动hbase
start-hbase.sh

改写以前写好的hbase的工具包：

package com.qianliu.dao;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

/**
 * HBase操作工具类：Java工具类建议采用单例模式封装
 */
public class HBaseUtils {


    HBaseAdmin admin = null;
    Configuration configuration = null;


    /**
     * 私有改造方法
     */
    private HBaseUtils(){
        configuration = new Configuration();
        configuration.set("hbase.zookeeper.quorum", "192.168.48.138:2181");
        configuration.set("hbase.rootdir", "hdfs://192.168.48.138:8020/hbase");

        try {
            admin = new HBaseAdmin(configuration);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private static HBaseUtils instance = null;

    public  static synchronized HBaseUtils getInstance() {
        if(null == instance) {
            instance = new HBaseUtils();
        }
        return instance;
    }


    /**
     * 根据表名获取到HTable实例
     */
    public HTable getTable(String tableName) {

        HTable table = null;

        try {
            table = new HTable(configuration, tableName);
        } catch (IOException e) {
            e.printStackTrace();
        }

        return table;
    }

    /**
     * 添加一条记录到HBase表
     * @param tableName HBase表名
     * @param rowkey  HBase表的rowkey
     * @param cf HBase表的columnfamily
     * @param column HBase表的列
     * @param value  写入HBase表的值
     */
    public void put(String tableName, String rowkey, String cf, String column, String value) {
        HTable table = getTable(tableName);

        Put put = new Put(Bytes.toBytes(rowkey));
        put.add(Bytes.toBytes(cf), Bytes.toBytes(column), Bytes.toBytes(value));

        try {
            table.put(put);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /*
     * @author qianliu on 2019/3/27 20:50
     * @param tablename 表名
     * @param rowkey 列名，此处是课程的编号
     * @return 返回列名的查询出来的结果，返回的是课程的浏览记录
     * @Discription:
     */
    public Map<String,Long> query(String tablename,String rowkey) throws IOException {
        Map<String,Long> map = new HashMap<String,Long>();
        HTable table = getTable(tablename);
        String cf = "info";//列族
        String qualifier = "click_count";//列族中的列名

        Scan scan = new Scan();

        //获取过滤器
        Filter filter = new PrefixFilter(Bytes.toBytes(rowkey));
        scan.setFilter(filter);

        //table中加入scan
        ResultScanner rs = table.getScanner(scan);


        //获取结果转化为java中的string和long类型
        for (Result result : rs){
            String row = Bytes.toString(result.getRow());
            Long count = Bytes.toLong(result.getValue(cf.getBytes(),qualifier.getBytes()));
            map.put(row,count);
        }
        return map;
    }

    public static void main(String[] args) {

        //HTable table = HBaseUtils.getInstance().getTable("imooc_course_clickcount");
        //System.out.println(table.getName().getNameAsString());

        /*
        String tableName = "imooc_course_clickcount" ;
        String rowkey = "20171111_88";
        String cf = "info" ;
        String column = "click_count";
        String value = "2";

        HBaseUtils.getInstance().put(tableName, rowkey, cf, column, value);
        */
    }

}

开发一个DAO层讲hbase中的信息获取之后格式化为map<k,v>类型

package com.qianliu.dao;

import com.qianliu.domain.CourseClickCount;
import com.qianliu.utils.HBaseUtils;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/*
* 课程点击访问的DAO
* */
public class CourseClickDAO {

    public static List<CourseClickCount> query(String day) throws Exception{
        List<CourseClickCount> list = new ArrayList<>();

        //取hbase中获取day中的所有课程以及课程访问量
        Map<String,Long> map = HBaseUtils.getInstance().query("imooc_course_clickcount","20190309");
        for (Map.Entry<String,Long> entry: map.entrySet()){
            CourseClickCount courseClickCount = new CourseClickCount();
            courseClickCount.setName(entry.getKey());
            courseClickCount.setValue(entry.getValue());
            list.add(courseClickCount);
        }

        return list;
    }

    public static void main(String[] args) throws Exception {
        CourseClickDAO dao = new CourseClickDAO();
        List<CourseClickCount> list = dao.query("20171022");
        for(CourseClickCount model : list) {
            System.out.println(model.getName() + " : " + model.getValue());
        }
    }
}

根据慕课网的实例，返回的参数为name和value构造一个CourseClickCount 来存放

package com.qianliu.domain;
/*
* 课程点击量
* */
public class CourseClickCount {
    private String name;
    private Long value;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Long getValue() {
        return value;
    }

    public void setValue(Long value) {
        this.value = value;
    }
}

写一个类来完成课程编号到课程名称的映射，异步请求“/course_clickcount_dynamic”获取hbase中的信息返回为json串，访问“/echarts”可以获取test.html网页。

package com.qianliu.spark;

import com.qianliu.dao.CourseClickDAO;
import com.qianliu.domain.CourseClickCount;
import org.codehaus.jettison.json.JSONArray;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.ModelAndView;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * web层
 */
@RestController
public class ImoocStatApp {

    private static Map<String, String> courses = new HashMap<>();
    static {
        courses.put("112","Spark SQL慕课网日志分析");
        courses.put("128","10小时入门大数据");
        courses.put("145","深度学习之神经网络核心原理与算法");
        courses.put("146","强大的Node.js在Web开发的应用");
        courses.put("131","Vue+Django实战");
        courses.put("130","Web前端性能优化");
    }

    //@Autowired
    CourseClickDAO courseClickDAO;


    /*@RequestMapping(value = "/course_clickcount_dynamic", method = RequestMethod.GET)
    public ModelAndView courseClickCount() throws Exception {

        ModelAndView view = new ModelAndView("index");

        List<CourseClickCount> list = courseClickDAO.query("20171022");
        for(CourseClickCount model : list) {
            model.setCourse(courses.get(model.getCourse().substring(9)));
        }
        JSONArray json = new JSONArray(list);

        view.addObject("data_json", json);

        return view;
    }*/

    @RequestMapping(value = "/course_clickcount_dynamic", method = RequestMethod.POST)
    @ResponseBody
    public List<CourseClickCount> courseClickCount() throws Exception {

        List<CourseClickCount> list = courseClickDAO.query("20171022");
        for(CourseClickCount model : list) {
            model.setName(courses.get(model.getName().substring(9)));
        }

        return list;
    }

    @RequestMapping(value = "/echarts", method = RequestMethod.GET)
    public ModelAndView echarts(){
        return new ModelAndView("test");
    }

}

因为要加入json异步请求，pom.xml中

<!--使用json传值-->
        <dependency>
            <groupId>net.sf.json-lib</groupId>
            <artifactId>json-lib</artifactId>
            <version>2.4</version>
            <classifier>jdk15</classifier>
        </dependency>

网页test.html中异步请求数据库中的信息

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Echarts</title>
    <!-- 引入 echarts.js -->
    <script src="echarts/echarts.min.js"></script>
    <!--引入jquery:因为此处用到了json传值-->
    <script src="echarts/jquery.js"></script>
</head>
<body>
    <!-- 为ECharts准备一个具备大小（宽高）的Dom -->
    <div id="main" style="width: 800px;height:400px;position: absolute;top: 50%;left: 50%;margin-top: -200px;margin-left: -400px;"></div>
    <script type="text/javascript">
        // 基于准备好的dom，初始化echarts实例
        var myChart = echarts.init(document.getElementById('main'));

        option = {
            title : {
                text: '慕课网课程浏览量实时统计',
                subtext: '实施课程访问次数',
                x:'center'
            },
            tooltip : {
                trigger: 'item',
                formatter: "{a} <br/>{b} : {c} ({d}%)"
            },
            legend: {
                orient: 'vertical',
                left: 'left',
                data: ['Spark SQL慕课网日志分析','10小时入门大数据','深度学习之神经网络核心原理与算法',
                    '强大的Node.js在Web开发的应用','Vue+Django实战','Web前端性能优化']
            },
            series : [
                {
                    name: '访问来源',
                    type: 'pie',
                    radius : '55%',
                    center: ['50%', '60%'],
                    data:(function(){
                        var datas = [];
                        $.ajax({
                            type: "POST",
                            url: "/course_clickcount_dynamic",
                            dataType: 'json',
                            async: false,
                            success: function(result) {
                                for(var i=0; i<result.length; i++) {
                                    datas.push({"value":result[i].value, "name":result[i].name})
                                }
                            }
                        })
                        return datas;

                    })(),
                    itemStyle: {
                        emphasis: {
                            shadowBlur: 10,
                            shadowOffsetX: 0,
                            shadowColor: 'rgba(0, 0, 0, 0.5)'
                        }
                    }
                }
            ]
        };

        // 使用刚指定的配置项和数据显示图表。
        myChart.setOption(option);
    </script>
</body>
</html>

启动springboot
在这里插入图片描述

项目上传至：
1.sparkstreaming处理实时流： https://github.com/LUK-qianliu/sparktrain
2.springboot+echarts可视化： https://github.com/LUK-qianliu/springboot1

LUK流
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Spark】SparkStreaming的应用及其原理
九师兄
07-04 2201
1.应用 从这张图中，可以知道整个都是一个循环啊，数据源循环发送数据给Spark，Spark循环处理数据，然后循环存储，最后页面循环取出数据并且展示。 2.原理 我们创建一个流很简单 val conf=new SparkConf().setMaster(&amp;amp;amp;amp;amp;amp;amp;amp;quot;local[2]&amp;amp;amp;amp;amp;amp;amp;amp;quot;).setAppName(&amp
Spark Streaming实时流处理项目实战.rar.rar
06-22
Spark Streaming是中国大数据技术领域中广泛使用...通过这个Spark Streaming实时流处理项目实战，你将有机会实践以上知识，并进一步理解如何在实际场景中部署和调整Spark Streaming，提升实时数据处理的效能和稳定性。
Spark Streaming实时流处理项目
qq_31297573的博客
09-16 595
Spark Streaming 实时流处理项目实战 项目整体流程： 模拟用户访问日志数据； 由Flume采集数据并通过Kafka进行消费； 按照需求由spark sparkstreaming 进行实时处理，并将结果保存到HBase中； 数据准备 generate_log.py 生成模拟用户访问网站的日志数据 由ip+时间+url+状态码+搜索引擎来源组成 为了模拟实时处理流程，定时 运行generate_log.py 脚本 定时运行： lgl.sh python /home/jackie
1、Spark Streaming实时流处理项目---项目介绍
挖掘机炒菜的专栏
09-25 191
一、开发环境 二、OOTB环境使用样式 虚拟机 VMware Fusion Mac 上搭建：4台虚拟机 Hadoop环境：虚拟机，是远程登录 root用户的密码是什么？ 修改配置文件，是需要root权限的，怎么办？ 命令：sudo comma...
sparkstreaming实时流处理项目（三）
流的博客
03-03 600
1.产生日志 编写一段py脚本模拟数据的产生： #!/usr/bin/env python # -*- coding:utf-8 -*- #@Time : 2019/3/3 21:01 #@Author: qianliu #@File : __init__.py.py import random import random import time url_paths = [ ...
Spark Streaming实时流处理项目实战-视频下载
weixin_36815898的博客
03-03 1040
Spark Streaming实时流处理项目实战视频下载 课程介绍： 本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、 及当前非常火爆的Spark Streaming打造实时流处理项目实战，让你掌握实时处理的整套处理流程，达到大数据中级研发工程师的水平！ 视频不需要解压密码，保存到自己网盘下载后直接可看。是笔者自己买的分享给大家。 基于Flume+Kafka+Spark Streaming打造企业大数据流处
Spark Streaming实时流处理项目实战视频网盘下载
12-15
第1章 课程介绍 第2章 初识实时流处理 第3章 分布式日志收集框架Flume 第4章 分布式发布订阅消息系统Kafka 第5章 实战环境搭建 第6章 Spark Streaming入门 第7章 Spark Streaming核心概念与编程 第8章 Spark ...
word源码java-sparkstreaming:SparkStreaming实时流处理项目实战
06-05
初识实时流处理 一、业务现状分析 二、离线与实时对比 三、框架对比 四、架构与技术选型 五、应用 第3章 分布式日志收集框架Flume 一、业务现状分析 二、Flume架构及核心组件 三、Flume&JDK环境部署 1.前置条件 Java...
SparkStreaming学习札记5-2020-2-16–SparkStreaming实时流处理项目实战
01-07
 Spark Streaming把统计结果写入到数据库里面 可视化前端根据：yyyyMMdd courseid把数据库里面的统计结果展示出来  选择什么数据库作为统计结果的存储呢？  RDBMS：MySQL.Oracle…  day course_id click_count ...
Spark-streaming 在京东的项目实践
10-25
Spark-streaming 在京东的项目实践，是Spark Streaming的一个很成功的应用
sparkstreaming实时流处理项目（六）
流的博客
03-09 473
1.需求增加 将有些是从搜索引擎中过来的url，做一个统计并且写入hbase create 'imooc_course_search_clickcount','info' scan 'imooc_course_search_clickcount' 编写一个访问程序： package com.qianliu.dao import com.qianliu.domain.{CourseClick...
sparkstreaming实时流处理项目（一）
流的博客
03-03 1111
1.项目流程 2.CentOS上的一些文件 目录为/home/hadoop 3.环境配置 cat ~/.bash_profile # .bash_profile #Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi #User specific environment and start...
sparkstreaming实时流处理项目（二）
流的博客
03-03 473
1.log4j的日志采集到flume log4j.properties如下，这样可以将控制台的信息输出到flume中： #配置 log4j.rootLogger=INFO,stdout,flume #stdout log4j.appender.stdout = org.apache.log4j.ConsoleAppender log4j.appender.stdout.target = Syst...
sparkstreaming实时流处理项目（五）
流的博客
03-09 777
1.写入数据到hbase 首先要保证： hadoop，zookeeper，hbase，flume，kafka都启动了 （1）进入hadoop的sbin目录启动hdfs ./start-dfs.sh jps查看： 进入到hbase的bin目录下： start-hbase.sh jps查看： 2.创建hbase表 进入hbase命令行 hbase shell list查看表单 list 数...
2、Spark Streaming实时流处理项目---实时流应用
挖掘机炒菜的专栏
09-27 202
1、初识实时流处理 2、业务现状分析 需求： 统计主站每个（指定）课程访问的客户端、地域信息分布 地域：IP转换 SparkSQL项目实战 客户端：useragent获取 Hadoop基础课程 → 如上俩个操作...
Spark：实时数据微批处理（4.Spark sql及项目实战）
weixin_44824495的博客
05-18 882
文章目录1.Spark SQL 概述1.1 什么是 Spark SQL?1.2 Spark SQL 的特点1.3 DataFrame介绍1.4 DataSet的介绍2.Spark SQL 编程2.1 SparkSession 介绍2.2 使用 DataFrame 进行编程2.2.1 通过 Spark 数据源创建DF2.2.2 通过 RDD 进行转换2.2.3 通过查询 Hive 表创建2.3 DataFrame 语法风格2.3.1 SQL 语法风格(主要)2.3.2 DSL 语法风格2.4 RDD 和 Da
实时流处理项目笔记一
huxin9611的博客
04-27 228
修改配置文件需要root权限， sudo command 只有一个地方需要修改 /etc/hosts 192.168.15.129 hadoop000 192.168.15.129 localhost hadoop生态系统：cdh5.7.0 下载地址http://archive.cloudera.com/cdh5/cdh/5/ jdk：1.8 spark：2.2 scala：2.11.8 spar...
视频教程-爱奇艺实时流处理项目实战 （Spark Streaming）-Spark
weixin_32064125的博客
05-28 712
爱奇艺实时流处理项目实战 （Spark Streaming） 张长志技术全才...
SparkStreaming：实时流处理技术解析
Spark Streaming是Apache Spark项目的一部分，它提供了构建可扩展、容错且易于编程的实时流处理应用的能力。Spark Streaming利用Spark核心引擎的弹性分布式数据集（Resilient Distributed Datasets, RDD）概念，将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值