JS埋点_Spark分析_echarts展示 上部分
总体架构
总体架构 就是 js 将用户访问日志不断采集到nginx,经由脚本切割日志文件,然后由flume采集到hdfs,再经过spark任务分析,将结果存储到mysql,然后由echarts框架将数据展示到前端
实现JS埋点以及到nginx的数据采集
###### [安装nginx](http://www.wordboy.cn/2017/11/01/Nginx_Builde.html)配置nginx文件,下载nginx.conf
//nginx.cnf 下载已经配置好的nginx.cnf配置文件然后覆盖掉
cd nginx
mv nginx.conf conf/
配置nginx.conf
vim nginx.conf
配置nginx的服务器地址
将log.gif 放入到html中
因为找不见大量的人访问,所以需要自己写一个模拟访问器
查看视频
采用pythn代码,模拟点击
from selenium import webdriver
import random
class Start(object):
def __init__(self):
self.driver="/Users/zhancao/JOB/project/pythonProject/Simple/pyProject/moni/chromedriver"
def start_go(self):
self.click=[]
#进行存储值
self.click.append( "http://localhost:8080/ExceptionTracker_war/html/JAVA_SE.html")
self.click.append( "http://localhost:8080/ExceptionTracker_war/html/JAVA_EE.html")
self.click.append("http://localhost:8080/ExceptionTracker_war/html/BIG_DATA.html")
self.click.append("http://localhost:8080/ExceptionTracker_war/html/C.html")
self.click.append("http://localhost:8080/ExceptionTracker_war/html/C++.html")
self.click.append("http://localhost:8080/ExceptionTracker_war/html/Python.html")
self.click.append("http://localhost:8080/ExceptionTracker_war/")
driver = webdriver.Chrome(self.driver)
index=0
while(True):
random_i=int(random.random()*len(self.click))
url=self.click[random_i]
driver.get(url)
print("======"+str(index)+"======="+url)
index+=1
if __name__ == '__main__':
start = Start()
start.start_go()
对nginx 中的日志进行自动定时切分
shell,这块采用shell 编写,对nginx 的日志文件进行切分,存储,定时
#!/bin/bash
LOGS_PATH=/root/software/nginx/logs
LOGS_PATH_split=/root/software/nginx/split_log
nginx_sbin=/root/software/nginx/sbin/nginx
nginx_pid=$LOGS_PATH/nginx.pid
LOGBAK=$LOGS_PATH_split/$(date -d yesterday +%Y%m%d%H%M).log
mv $LOGS_PATH/access.log $LOGBAK
touch $LOGS_PATH/access.log
kill -HUP `cat $nginx_pid` #这块使用-HUB
echo "切割完成"
设置定时任务,使用 crontabs
安装crontabs
//安装
yum install vixie-cron
yum install crontabs
cron 是linux的内置服务,但它不自动起来,可以用以下的方法启动、关闭这个服务:
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond reload //重新载入配置
基本格式 :
* * * * * command
分 时 日 月 周 命令
第1列表示分钟1~59 每分钟用*或者 */1表示
第2列表示小时1~23(0表示0点)
第3列表示日期1~31
第4列表示月份1~12
第5列标识号星期0~6(0表示星期天)
第6列要运行的命令
利用crontabs设置定时任务
//安装好之后
两步设置:
#命令行输入
crontab -e
#在出现的vim中输入要执行的命令,每3分钟执行脚本命令
*/3 * * * * sh /root/software/nginx/split_log.sh