本文主要总结下在公司所做的事情
在公司主要负责的是 各种数据需求 另外加上一些系统修复。
需求分为两种 1 日常需求 2 临时需求
数据需求要从hdfs日志中提取,跑mapreduce。
需要注意的是 1 理解请需求,知道为什么提出这个需求。 这样才能全面把握主动性
2 要 对日志的埋点熟悉,由于有些点不熟悉,经常要跟好多人沟通才能开始写代码
写mapreduce的感想:
mapreduce主要就是key的设计,设计好了key,编写出相应的逻辑代码。就可以出需求了。
一般出了数据后,我会仔细检查一番,确定没什么问题,再发给接收方
经常用到的调试方式
1 使用maven 在本机调试 跑少量样本