Tang Pangpang-CSDN博客

原创 RocketMQ安装部署文档

RocketMQ安装部署文档1. 下载、安装下载地址：http://rocketmq.apache.org/release_notes/release-notes-4.7.1/！！！记住，下载二进制包，二进制包是编译好的，可以解压直接使用。前期准备:安装好 java1.8+下载完成以后上传到集群，然后进行解压[tangzc@Tang-3 software]$ unzip rocketmq-all-4.7.1-bin-release.zip -d /opt/module重命名[tangzc@

2021-04-06 15:28:04 268

原创 Logi-KafkaManager操作文档

Logi-KafkaManager操作文档1.产品简介滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台，专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。1.1 架构图2.使用说明1.用户管理1.申请用户角色 1.点击运维管控 2.点击添加用户 3.填写用户信息，选择角色，设置密码用户申请成功2.编辑用户角色用户的角色和密码是可以更改的，点击编辑按钮，就可以对

2021-03-26 10:23:00 1024 3

原创 Logi-KafkaManager安装

Logi-KafkaManager安装1.环境依赖如果是以Release包进行安装的，则仅安装Java及MySQL即可。如果是要先进行源码包进行打包，然后再使用，则需要安装Maven及Node环境。Java 8+(运行环境需要)MySQL 5.7(数据存储)Maven 3.5+(后端打包依赖)Node 10+(前端打包依赖)2. 获取安装包1.Release直接下载这里如果觉得麻烦，然后也不想进行二次开发，则可以直接下载Release包，下载地址：Github Release包

2021-03-01 17:46:46 788 4

原创 linux环境下的mysql离线安装

linux环境下的mysql离线安装1.上传mysql安装包到集群2.检查当前系统是否安装过mysql[root@apache03 apache-bigdata]# rpm -qa | grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64 //如果存在通过如下命令卸载[root@apache03 apache-bigdata]# sudo rpm -e --nodeps mariadb-libs //用此命令卸载mariadb3.解压my

2021-03-01 16:38:44 232 2

原创 Flume学习笔记

Flume学习笔记一 Flume概述1. Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。2. Flume架构Flume组成架构如下图所示。1. Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成，Source、Channel、Sink。2. Source Source是负责接收数据到Flume Agent的组件。Sour

2020-12-01 15:18:48 173

原创 Zookeeper学习笔记

Zookeeper一 Zookeeper入门1. 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应. Zookeeper = 文件系统 + 通知机制2. 特点Zookeeper：一个领导者

2020-11-29 10:08:26 145

原创 Hive学习笔记

一、Hive基本概念1.1 hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据 tel up down1383838438 1345 15671383838439 5345 15671383838440 1241 165771383838441

2020-11-28 08:07:29 1049

原创电商数仓项目（二）

电商数仓项目（二）五. 数仓搭建-DWS层1.业务术语--1.用户用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。--2.新增用户首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。--3.活跃用户打开应用的用户即为活跃用户，不考虑用户的使用情况。每天一

2020-10-22 11:02:53 768

原创电商数仓项目（一）

电商数仓项目(一)一.数据仓库概念1.业务数据就是各行业在处理事务过程中产生的数据。2.用户行为数据用户在使用产品过程中，与客户端产品交互过程中产生的数据。3.数据仓库为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程，提高产品质量二.数仓分层1.数仓分层ODS层：原始数据层。存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。DWD层：明细数据层。对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等。DWS层：服务数据层。以DWD为

2020-10-15 10:11:05 2687 1

原创 SparkCore学习笔记

SparkCore学习笔记一. RDD概述1.1 什么是RDD RDD 叫做弹性分布式数据集，是Spark中最基本的数据抽象。它代表的是一个弹性的、不可变、可分区、里面的元素可并行计算的集合。1.1.1WordCount工作流程首先在yarn模式下将生成的WordCount的Jar包导入，然后启动bin/spark-submit --class WordCount --master yarn --deploy-mode cluster WordCount.jar /input /output

2020-09-23 19:15:53 214

原创大数据之kafka

大数据之kafka一.kafka概述1.定义Kafka是一个分布式的基于发布和订阅模式的消息队列，主要用于大数据实时处理领域2.消息队列1.使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致

2020-09-03 14:11:03 179

原创 mapreduce学习笔记

hdfs写数据流程文字描述1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode响应客户端是否可以上传。2.当客户端接收到NameNode返回可以上传的指令以后，客户端向NameNode请求第一个Block上传到哪几个DataNode服务器上去。NameNode会返回可用的DataNode地址，例如A，Ｂ，C.注：Hadoop 在设计时考虑到数据的安全与高效，数据文件默认在 HDFS 上存

2020-08-16 10:54:46 124

qq_38650982的博客