02-01---flink+clickhouse构建亿级电商实时数据平台

虚拟机的语句详解：

1.zookeeper

启动：zkServer.sh start 

zkServer.sh start 

zkServer.sh status

zkCli.sh

2.kafka

kafka-server-start.sh /usr/local/apps/kafka/config/server.properties 

kafka如何创建topic：https://blog.csdn.net/lanmolei814/article/details/78353898

3.flink操作语句

进入cd /usr/local/apps/flink/bin

启动flink:./start-cluster.sh 

4.hadoop安装

hadoop namenode -format

start-dfs.sh
start-yarn.sh

5.clickhouse

service clickhouse-server start service clickhouse-server stop service clickhouse-server restart

clickhouse--client

6.hbase

start-hbase.sh

代码的github地址：https://github.com/FandySww/FlinkAnanlySystem

资料：

---

数据收集的日志结构：

小程序：

app的：

搜集我们的浏览日志：

我们把这些结构变成实体，方便我们去处理。

---1-5---

代码：

fastjson和null的做法：

---1-6---

kafka环境的搭建：

资料：

centos虚拟机的克隆：https://blog.csdn.net/qq_28764557/article/details/88851553

虚拟机的地址： 133 134 135

安装zk和kafka。

在131上安装了zookeeper和kafka。

zk单机安装：

第一步修改环境变量，具体略。

第二步修配置文件：

---

kafka的安装，第一步，直接配置

第二步：两个地方：

1.

2.

3.

第三步：配置环境变量，略

第四步：启动

kafka如何创建topic:在bin目录下./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic dataiinfo

---

启动总结：

zk：

kafka：

---1-7---

回到代码：

向topic发消息：./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic dataiinfo

代码：

kafka控制台监听消息：

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092  --topic datainfo

测试kafka的代码。测试下kafka的代码：

---1-8---

安装flink：

第一步：

进入cd /usr/local/apps/flink/bin

启动flink:./start-cluster.sh 

访问：http://192.168.244.133:8081/

可以看到：

跑一个例子：

---1-9--

flink+kafka构建实时分析：

这个是十分重要的。

新建模块：

添加依赖：

  <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.11</artifactId>
            <version>1.9.0</version>
        </dependency>

---10---

启动下我们的工程：

1.启动注册中心：

2.启动datacollect

3.测试下kafka的发送

4.这个类

---11---

hadoop环境的安装。

安装文件：

安装步骤：

第一步：进入到这个目录

第二步：修改配置文件

第三步：修改core配置文件

 

这里需要改下配置：我这里是9008

 

第四步：修改下一个配置文件，配置副本数。

第五步：修改下一个xml

拷贝这个xml的副本：

第六步：继续配置，配置免密登录

一直回车。

要新建一个用户slave修改hostname为slave才会成功。

关于用户：https://blog.csdn.net/liu_qingbo/article/details/78383892

linux创建用户：https://www.cnblogs.com/drizzle-xu/p/9155268.html

这里我要添加一个slave的。

测试下：

第七步：格式化

再配置下基本配置文件：

启动hadoop：

没有我们再次修改一次环境变量：

第八步：启动yarn

第九步：控制台

http://192.168.244.133:50070/dfshealth.html#tab-overview

http://192.168.244.133:8088/cluster

---12---

clickhouse:

什么是t+1

---13---

安装：过

默认配置文件的修改：

第一步：修改第一个配置文件

这两个配置文件都要修改：

第一个文件修改的地方为：

第二个文件修改的地方为：

启动：https://blog.csdn.net/yyoc97/article/details/103111811

指定配置文件启动:

访问下：

clickhouse的终极启动秘籍：https://blog.csdn.net/yyoc97/article/details/103111811

---14---

数据类型：

---

简单的使用：

建表：

插入数据：

insert into youfantest(id,name,create_date) values(1,'xiaobai','2020-11-29')

insert into youfantest(id,name,create_date) values(5,'xiaohuang','2020-11-29')

insert into youfantest(id,name,create_date) values(2,'xiaohong','2020-11-30')

insert into youfantest(id,name,create_date) values(3,'xiaohei','2020-11-28')

insert into youfantest(id,name,create_date) values(4,'xiaolv','2020-11-27')

---15---

其它的连接案例：https://blog.csdn.net/magicpenta/article/details/89515550

---16---

通过java查询数据：

---17---

日志数据完善与优化：

---18---

---19---

HBASE安装：

第一步：进入这个目录

第二步：修改hbase-site.xml文件。

注意hbase安装在134这台机器上。

先启动下hadoop记住两个命令：

注意我的地址是9008.

注意这个9000改为9008

第三步：配置hbase的环境变量

第四步：启动hdfs和zookeeper

第五步配置下java环境

第六步启动：

地址：http://192.168.244.133:60010/master-status

hbase安装包：http://archive.apache.org/dist/hbase/2.2.1/

----

按照这个帖子操作可以启动hbase

1.https://www.cnblogs.com/h--d/p/11580398.html

2.https://blog.csdn.net/weixin_34419326/article/details/90626388

3.重点：hbase启动失败：https://www.cnblogs.com/zlslch/p/9192887.html

/usr/local/apps/zookeeper-3.4.5/data

/usr/local/apps/hbase-2.2.1/hbase

/usr/local/apps/jdk8

操，重大新闻，我安装的是单机版本的hbase，这里看下：

---20---