运行D:/idea2/bgd-parent（用户统计项目）项目需要注意事项

本文链接：https://blog.csdn.net/Hi_this_is_ID/article/details/103486710

1、kafka修改：
bgd-realtime/src/main/resources/config.properties
bgd-logger/src/main/resources/application.properties
在这里插入图片描述

2、创建自己的topic

[root@hdp-1 bin]# ./kafka-topics.sh \
--zookeeper hdp-1:2181 \
--create --replication-factor 3 \
--partitions 1 --topic bigdata

3、Redis环境
（1）配置Redis的环境
bgd-parent/bgd-realtime/src/main/resources/config.properties
修改为自己的主机和密码
在这里插入图片描述
3.ES环境
（1）修改主机
bgd-parent/bgd-common/src/main/scala/com/bgd/common/utils/MyEsUtil.scala

（2）创建索引

PUT beirritated_dau
{
  "mappings": {
    "_doc":{
      "properties":{
        "mid":{
         "type":"keyword"
        },
        "uid":{
         "type":"keyword"
        },
        "area":{
         "type":"keyword"
        },
        "os":{
         "type":"keyword"
        },
        "ch":{
         "type":"keyword"
        },
        "vs":{
         "type":"keyword"
        },
        "logDate":{
         "type":"keyword"
        },
        "logHour":{
         "type":"keyword"
        },
        "logHourMinute":{
         "type":"keyword"
        },
        "ts":{
         "type":"long"
        }
      }
    }
  }
}

在这里插入图片描述
4.Scala环境
（1）Scala-sdk-2.11.8（scala右上角自动提示，点击即可）
（2）改为资源文件夹（在idea中（scala包本来为灰色。修改完后变为蓝色））

Linux中启动
zookeeper

[root@hdp-1 ~]# ./zkmanager.sh start 在这里插入图片描述
Hadoop集群
[root@hdp-1 ~]# start-all.sh
spark

 cd spark-2.4.4-bin-hadoop2.7/sbin/

[root@hdp-1 sbin]# ./start-all.sh

` 在这里插入图片描述
kafka

cd apps/kafka_2.12-2.2.0

[root@hdp-2 kafka_2.12-2.2.0]# ./kafkaManager.sh start

在这里插入图片描述
elasticsearch（1、2、4分别启动：）

 cd /root/apps/elasticsearch-6.3.1/bin/

[zpark@hdp-1 bin]$ ./elasticsearch

` 在这里插入图片描述
kibana

 cd apps/kibana-6.3.1-linux-x86_64/bin/

[root@hdp-4 bin]# ./kibana

在这里插入图片描述
redis

cd /usr/local/redis/bin

[root@hdp-4 bin]# ./redis-server redis.conf

在这里插入图片描述
运行idea程序：
启动顺序
Logger–>mock–>realtime–>release–>chart
接收数据–>产生数据–>处理数据–>获取数据–>展示数据
结果：