![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据实战项目系列
大数据实战
FreedomZzzzz
188的努力猿
展开
-
大数据项目之电商数仓(数仓建模理论篇)(重点)
这里写目录标题一、数仓分层二、数仓建模2.1 ODS 层2.2 DWD 层2.3 DWS 层 (各个主题一天发生的事情)2.4 DWT 层 (从用户或商品产生到当前时刻发生的事情)2.5 ADS 层一、数仓分层ODS(原始数据层) 不做处理,存放原始数据DWD(明细数据层) 进行简单数据清洗,降维DWS(服务数据层) 按天进行轻度汇总(做宽表)DWT(数据主题层) 按主题进行汇总ADS(数据应用层) 为报表提供数据二、数仓建模2.1 ODS 层(1)保持数据原貌不做任何修原创 2020-05-10 15:10:49 · 2299 阅读 · 5 评论 -
大数据项目之电商数仓(脚本篇)
脚本存放目录 /user/local/bin/1.xsync集群分发脚本参考这篇博客安装https://blog.csdn.net/yhblog/article/details/84066218#!/bin/bash#获取输入参数的个数.没有参数直接退出pcount=$#if((pcount==0));thenecho no args;exit;fi#2.获取文件名称p...原创 2020-05-05 09:26:13 · 6692 阅读 · 24 评论 -
大数据项目之实时项目(待更)
一.项目目的二.项目流程三.项目操作事先准备好环境1.start-al.sh2. ./zkmanager start3. ./start-kafka4.启动Redis服务(我的Redis在hdp-2上) bin路径下./redis-server ../redis.conf1.将gmall-logger-0.0.1-SNAPSHOT....原创 2020-01-06 19:31:46 · 794 阅读 · 0 评论 -
Nginx总结
1.什么是Nginx?Nginx 是一个高性能的 HTTP 服务器(能处理web请求的服务器,可以处理php但是无法处理java)和反向代理服务器,能够支持 5 万个并发连接,内存、CPU 消耗非常低,是基于七层协议的服务。特点是占有内存少,并发能力强。2.Nginx的三大功能Nginx 可以实现反向代理、负载均衡、动静分离等功能3.停止Nginx服务的四种方法从容...原创 2019-11-29 15:37:25 · 136 阅读 · 0 评论 -
大数据项目之Kafka&Spark streaming&Redis:WordCount
一.项目目的实时在线单词字数统计二.项目流程kafka生产数据源,spark streaming采集数据源并进行处理后存储在Redis中三.项目操作3.1 Kafka准备3.1.1 创建topic:zpark 过程:在kafka的bin目录下./kafka-topics.sh --zookeeper hdp-1:2181 --create --topi...原创 2019-11-21 17:17:55 · 403 阅读 · 0 评论 -
大数据项目之Flume Kafka Storm实战:A、Kakfa与Storm(未更完)
一.项目目的该部分为Kakfa与Storm整合部分,kafka通过Storm实时进行数据的分析二.项目流程待写三.项目操作3.1 Storm准备3.1.1. 构建Maven项目pom.xml文件 引入相关依赖和插件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://mav...原创 2019-10-24 15:48:07 · 271 阅读 · 0 评论 -
大数据常用脚本(持续更新)
1.zkmanager启动脚本./zkmanager.sh#! /bin/bashfor host in hdp-1 hdp-2 hdp-3doecho "${host}:${1}ing...."ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1"donesleep 2...原创 2019-10-24 08:27:23 · 965 阅读 · 0 评论 -
大数据项目之ip条数统计 nginx flume kafka hive
一.项目目的对日志中ip条数进行统计统计二.项目流程图片出自:https://blog.csdn.net/lucasmaluping/article/details/102685434三.项目操作1.frame打成jar包上传到linux集群通过java -jar,测试是否运行成功:hdp-1:88892.修改配置文件,自定义ngnix输出日志的格式 修改...原创 2019-10-22 19:50:21 · 882 阅读 · 0 评论