大数据之实时项目--第3天 （ 日志服务器搭建）

上篇：大数据之实时项目–第2天 （ 日志保存）

---

1、在springboot工程

（1）在pom.xml文件添加依赖：

<dependency>
      <groupId>org.springframework.kafka</groupId>
     <artifactId>spring-kafka</artifactId>
 </dependency>

(2) 在resource文件目录下的application.properties配置数据：

application.properties

server.port=80

spring.kafka.bootstrap-servers=hadoop105:9092,hadoop106:9092,hadoop107:9092

# 指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

---

2、gmall20200213-common工程

（1）java文件目录下创建

GmallConstant.java

代码编写：

package com.study.gmall20200213.common.constant;

public class GmallConstant {

    //启动日志
    public static final String KAFKA_TOPIC_STARTUP="GMALL_STARTUP";

    //实现日志
    public static final String KAFKA_TOPIC_EVENT="GMALL_EVEINT";

}

（3）springboot工程的controller类编写代码

LoggerController.java

package com.study.gmall20200213logger.controller;


import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.study.gmall20200213.common.constant.GmallConstant;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

//Controller+ResponseBody 等同于 RestController
@RestController
public class LoggerController {
    @Autowired
   KafkaTemplate<String,String> kafkaTemplate;

private static final Logger logger= LoggerFactory.getLogger(LoggerController.class);

   // @RequestMapping(value = "/log",method = RequestMethod.POST) 等同   @PostMapping("/log")
    @PostMapping("/log")
    public String dolog(@RequestParam("log")String logJson){

        //补时间戳
        JSONObject jsonObject = JSON.parseObject(logJson);
        jsonObject.put("ts",System.currentTimeMillis());
        //落盘到logfile
        logger.info(jsonObject.toJSONString());

        //发送到kafka
        if ("startup".equals(jsonObject.getString("type"))){
            kafkaTemplate.send(GmallConstant.KAFKA_TOPIC_STARTUP,jsonObject.toJSONString());
        }else{
            kafkaTemplate.send(GmallConstant.KAFKA_TOPIC_EVENT,jsonObject.toJSONString());
        }

        return "success";

    }
}

(4) 若发现， @Autowired无法注入，这是由于idea问题，修改配置设置：

---

3、启动kafka集群

（1）启动kafka集群命令：

bin/kafka-server-start.sh config/server.properties &

//启动消费者
[root@flink102 kafka-2.11]# bin/kafka-console-consumer.sh --bootstrap-server Flink102:9092 --topic GMALL_STARTUP

(2) 先启动springboot启动类，再启动模拟数据


（3）再kafka集群查看，就会有打印的数据：
消费者打印数据

（5）在打包之前，我们需要把日志配置文件改动一下

#输出文件路径，文件后缀名
#不指定磁盘路径
log4j.appender.atguigu.File.file=/applog/gamll0315-logger/log/app.log

---

4、在父工程添加聚合文件与安装

（1）加入文件聚合

(2) 安装聚合文件

（3）拷贝文件jar包、上传到Linux环境中

（3）采集数据

[root@hadoop105 workProject]# ll
total 29220
-rw-r--r--. 1 root root 29918144 Feb 15 13:15 gmall202002130-logger-0.0.1-SNAPSHOT.jar
[root@hadoop105 workProject]# 
//采集数据，执行命令

[root@hadoop105 workProject]# java -jar gmall202002130-logger-0.0.1-SNAPSHOT.jar 

如图所示：

假如执行发现权限不够，就执行这条命令：

[root@hadoop105 workProject]# java -jar gmall202002130-logger-0.0.1-SNAPSHOT.jar --server.port=8080 >/dev/null 2>&1 &

总之，只要idea程序启动后，kafka集群是可以接收数据的

但是，我们需要做，虚拟机主机名需要映射本地

192.168.219.102  logserver
192.168.219.102   publisher

由于主程序类已经成功在linux环境下启动成功了，我们现在只需要在idea工具上启动数据模板JsonMocker

查看进来的日志信息

[root@flink102 applog]# ll
total 0
drwxr-xr-x 3 root root 17 Mar 16 11:10 gamll0315-logger
drwxr-xr-x 2 root root 49 Mar 16 11:07 gmall0315
[root@flink102 applog]# cd gamll0315-logger/
[root@flink102 gamll0315-logger]# ll
total 0
drwxr-xr-x 2 root root 21 Mar 16 11:10 log
[root@flink102 gamll0315-logger]# cd log/
[root@flink102 log]# ll
total 440
//当天日志信息
-rw-r--r-- 1 root root 450115 Mar 16 11:25 app.log
[root@flink102 log]# 

（4）若想执行 脚本，先执行命令查看ll -a （了解）