scala+springboot大数据分析-预测

一、环境配置

idea 2021.3.3
mysql 8.0.31
spark 3.0.0
scala 2.12
hbase 2.5.5
hadoop 2.10.2
zookeeper 3.4.12

        需打开ubuntu下的hadoop、zookeeper、hbase，从hbase导进源文件后存入本地mysql数据库后再进行操作

二、项目操作

1、sparkProcess、forecost子模块中创建自己的数据库，
数据库名称-sleep_life_db,在application.yml、DBTool和Demo文件中
仅修改数据库名以及账号密码
    ——我的数据库名：sleep_life_db
    ——账号：root
    ——密码：****@qq.com

各数据表展示

                        

 2、在sparkBoot子模块中运行SpringAPP.java文件
    运行web成功后输入网址
    总展示页面 http://localhost:8080/index.html
    点击页面的链接——Continue后自动跳转到
    预测分析展示表格 http://localhost:8080/index2.html
    点击页面的链接——Continue后自动跳转到
    预测分析echarts展示 http://localhost:8080/pages/test_js.html

三、项目结构

        在该项目中分为三大模块：forecost、sparkBoot、sparkProcess

1、sparkProcess模块
（1）作用：数据集的拆分分析
（2）文件：
            process目录：hbase中引入数据，并进行数据分析，在数据库中生成各种数据表，以便展示使用
            util目录：
                        a.DBTool文件：连接本地数据库并可写入数据库
                        b.HBaseTools文件：连接ubuntu中的hbase数据库，并导入所需的hbase中的数据集
            其它文件(DBTool和Demo)：实现本地连接，测试

2、forecost模块
（1）作用：实现部分数据集的预测分析
（2）文件：
            a.Machine_Learning_health.scala文件，作为线性回归模型来实现数据集的预测以及实际对比
            b.DBTool文件，连接并可写入数据库

3、sparkBoot模块
（1）作用：springboot服务器启动，进行数据展示
（2）文件：
            java目录下
                        Controller目录：路由设置
                        Dao目录：返回值模型设置
                        SpringAPP文件：启动springboot项目
            resources目录下
                        mapper目录：设置sql语句调用
                        static目录：
                                    整合多个echarts图表和预测分析图表

四、项目展示

首页

 预测表格

预测数据Echarts展示

五、下载

源数据集：health.csv · xiaojiang/scala+springboot大数据分析-预测 - 码云 - 开源中国 (gitee.com)https://gitee.com/Nal_9526/scala-springboot/blob/master/health.csv

项目源代码：

f_end.rar · xiaojiang/scala+springboot大数据分析-预测 - 码云 - 开源中国 (gitee.com)https://gitee.com/Nal_9526/scala-springboot/blob/master/f_end.rar