内容简介
数据可视化课程设计上课案例项目、使用简易商城项目产生用户访问日志,使用nginx记录访问日志、使用Flume +kafka完成日志采集到HDFS、使用Spark 完成日志离线分析、使用Sqoop将分析结果抽取到MySQL,最终使用SSM后端项目完成数据可视化展示。
一、Hadoop分布式集群安装
二 、Nginx安装配置、部署前端项目
三 、MySQL安装
四 、Tomcat安装、部署后端项目
五 、Flume安装、配置、实现日志定时复制、采集
六 、Hadoop实现简单的日志分析
七 、Kafka集群安装配置、Flume整合Kafka实现日志采集
八 、Spark集群安装、配置
九 、使用Spark进行日志分析
十 、Sqoop安装配置、抽取分析结果到MySQL数据库
十 一、使用Echarts展示分析结果
----------------------Nginx安装配置、部署前端项目----------------------
1、官网下载nginx安装文件,并上传 master节点的 /mnt/tools/文件夹下
下载地址:[https://nginx.org/download/nginx-1.18.0.tar.gz](https://nginx.org/download/nginx-1.18.0.tar.gz)
2、解压
tar -zvxf /mnt/tools/nginx-1.18.0.tar.gz -C /mnt/training/
3、配置安装模块:
#进入/mnt/training/nginx-1.18.0目录
cd /mnt/training/nginx-1.18.0
# 执行
./configure --prefix=/training/nginx --without-http_gzip_module
4、编译安装:
make && make install
5、配置环境变量:
echo 'export PATH=$PATH:/training/nginx/sbin' >> ~/.bash_profile
# 使环境变量生效
source ~/.bash_profile
6、启动:
命令确认: whereis nginx 找到nginx的安装路径
启动:
cd /usr/local/nginx/sbin
./nginx
7、确认:
进程确认:
ps -ef|grep nginx
欢迎界面确认:
浏览器地址栏中输入:http://192.168.39.151
8、部署前端项目
1)上传shop项目到 /usr/local/nginx/html目录中
2)修改/shop/js/server-config.js文件
web_user_url='http://192.168.39.151:8080/'
3)修改nginx.conf配置文件
location /shop/ {
root html;
index index.html index.htm;
}