系统数据流程设计

系统数据流程设计

Nginx（反向代理）的作用

我们再进行网页请求的时候，得指明地址，得告诉我地址是什么。客户端client发送一个请求给到一个服务端server，问server一个东西，server回我一个东西，按道理应该是这么一个流程。为什么要加一个反向代理呢？是因为现在公司里面的服务器都很多，有成百上千台。如果大家都自己写自己的服务地址的话，有可能出现大家都写到了用一个服务器这种情况，那那一台就崩掉了，而其他的服务器在空转。为了防止这种情况，就加了一个Nginx（反向代理），统一都去请求这个Nginx，由Nginx来分配你请求的这条命令交给哪台服务器来处理。作用就是负载均衡。将资源平均分配到每台服务器。

上面后端埋点的数据可能存在也可能不存在，如果存在的话，也会通过Nginx进入日志服务器。

Hive中数据计算的分层

有三层一定要有
第一层：存原始数据 ods层
第二层：建模之后的数据（因为原始数据没有进行建模，它是mysql的一个格式，我们要把这个格式改一下，这个叫建模） dwd层
第三层：最终的分析计算完的结果数据 ads层