![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
集群分析优化与开发工具
集群分析优化与开发工具
Direction_Wind
一个普通的程序员,希望能够在大数据领域有一定建树
展开
-
埋点开发流程
埋点设计流程原创 2022-04-15 11:50:06 · 213 阅读 · 0 评论 -
数据上报服务
常见方案:定义上报数据格式客户端/服务端 通过sdk、http 然后 nginx将数据进行落地 access log通过日志收集工具 (td-agent,flume等)进行数据收集将收集完毕的数据发送到对应sink(kafka,hdfs,等)通过第三方的监控平台配置对采集数据状态的监控决定的数据上报服务 1. 服务端/客户端将数据发送到不同的Nginx(业务不同,到达的日志地址不同) 2. Nginx将Post Body写到Nginx Access Log 3. Fl原创 2022-03-14 15:04:10 · 2977 阅读 · 0 评论 -
hdfs小文件使用fsimage分析实例
这里写目录标题1 小文件来源分析1.1 数据主要来源:2 处理方案2.1 实时计算任务2.2 hive做优化,小文件做合并:2.2.1 已有数据2.2.2 新接入数据做数据合并后在load进hive新表dwd层及以后可以通过设置这些参数。2.2.3 mapreduce 定义规范3fsimage 离线分析hdfs内容3.1创建hive表 存储元数据,做分析用3.2 处理fsimage文件3.2.1获取fsimage文件:3.2.2从2进制文件解析:3.2.3加载进hive中3.2.4 统计文件整体情况3.2.原创 2022-03-22 18:02:29 · 4677 阅读 · 0 评论