Titan 数据运营系统
吾王美如画
ChenPD27595
The only thing stronger than your craving for blood is your love for this one girl.
展开
-
面试总结
mr程序处理过程-解释环形缓冲区描述hdfs的高可用redis常用数据类型描述scala中的伴生对象flume主要分为哪三个部分 及其分工hive常用窗口函数MR程序处理数据倾斜udf理解 udaf 和 udtf 的区别原创 2021-03-09 01:50:48 · 139 阅读 · 0 评论 -
Titan数据运营系统--jjjjjjjjj
hadoop集群启停:start-all.sh|stop-all.sh(+环境变量,hdfs+yarn)hdfs集群启停:start-dfs.sh|stop-dfs.sh(+环境变量)zookeeper启停:①:单机启停命令:${ZOOKEEPER_HOME}/bin/zkServer.sh start|zkServer.sh stop②:开发一个shell脚本做到一键启停#!/bin/basharg=$1for name in linux01 linux02 linux03do ss.原创 2021-01-13 22:31:01 · 490 阅读 · 1 评论 -
Titan 数据运营系统 --数据的采集和ods开发
一:埋点数据的采集1.1埋点日志在本项目中,有3大类:①App端行为日志②PC web端行为日志③微信小程序端行为日志日志生成在了公司的N台(5台)日志服务器中,现在需要使用flume采集到HDFS1.2需求3类日志采集后要分别存储到不同的hdfs路径①日志中的手机号、账号需要脱敏处理(加密)②不同日期的数据,要写入不同的文件夹,且分配应以事件时间为依据③因为日志服务器所在子网跟HDFS集群不在同一个网段,需要中转传输1.3埋点数据中的结构和说明埋点生成的日志数据,统一设计原创 2021-01-12 20:34:02 · 505 阅读 · 2 评论