实习日/周/月记&学习计划（第二周）

最新推荐文章于 2019-09-10 23:16:33 发布

罗小米

最新推荐文章于 2019-09-10 23:16:33 发布

阅读量817

点赞数 1

分类专栏：实习文章标签：实习

本文链接：https://blog.csdn.net/u014578266/article/details/95991078

版权

实习专栏收录该内容

7 篇文章

订阅专栏

2019.07.15

今天mentor请事假，~~划了一天水~~：

看tomcat的系统架构--四张图带你了解Tomcat系统架构；
了解了一下flink，带状态的流数据/批数据开源数据处理/计算平台；
探索式的使用华为瘦终端，多踩坑防止今后碰到问题；
找明哥问了常用的软件/工具，配环境。

2019.07.16

周杰伦南京演唱会开票后一小时才发现这个消息，血亏。。

早上主要开迭代会，明确这次迭代的任务，开了将近2小时。会后跟海哥说环境差不多配好了，海哥让写下上午迭代会的测试用例。下午写了一会后发现对业务不熟悉，有些story不知道怎么写测试用例，于是海哥让我继续当鼓励师。。

下午下班前明哥把标签小队叫到大会议室，说下午生成环境出现了问题（UDR api访问出现问题导致伪冒系统18分钟不能工作，锅是肯定要背的），说了很多工作中需要注意的地方：

对开发的系统保持敬畏之心；
不要在生产环境上进行bug的复现，很可能因为一不小心改了某个数据库就牵一发而动全身；
动用运维权限时要告知小组leader。

今日成果：

了解了一下nginx（读音：engine X）8分钟带你深入浅出搞懂Nginx

小tips：

海哥说DataStage又贵又难用，一年大概100多万

个人愚见：

主要结合今天的经历有感而发：

室友分别是算法岗和数据岗，已经被各自mentor分配了任务，design和coding开始走向正轨。据了解分别是写爬虫和4个人一组实现一个实时数仓（相对独立且比较大的项目）；
今天写测试用例时深深感到对业务和系统的不了解给工作进展带来的障碍，不知道story下的各个tasks和应用的哪个功能或api或wiki的哪一部分对应，才意识到本科时软件测试老师说的“好的测试必定是好的开发”的正确性；
机器学习/深度学习的工作流程和在学校研究算法跑实验的流程基本类似，流程相对固定，走获取数据→提特征→搭模型/网络→跑模型/网络，模型和网络用成熟的第三方框架，在不同的应用场景下大同小异，主要区别在于不同场景下的不同特征；测试接口/业务需要知道业务流程，其中的事务/消息/动作是怎样传递的，与此同时还会碰到很多新的名词，各种未知的东西凑在一起就会一脸懵逼。

2019.07.17

早上继续在海哥旁边坐了一上午，期间有好多人在招乎上给他发需求，忙得不行。

下午海哥让查资料，然后给他反馈，然后在边上“罚站”看他debug。3点半室友叫我去吃下午茶，然后我就缓缓溜了，顺便开始思考人生：

不能一直这样只输入不输出，得动手写点东西。
就算学到的东西没产出不被认可而不能转正也无所谓。

吃完下午茶回到机位，快速浏览一些基础知识：

HDFS
HBase
Hive
Redis

今天海哥一直被python第三方库使用Kafka的接口问题所困扰，走马观花地看了代码觉得并不复杂，就是一个简单的生产者消费者模型，于是下了这个包照着网上教程写了一个简单的demo，期间还踩了delete topic的坑并找资料解决了，还是亲手写代码更有动力。。

2019.07.18

数据掘金–微光助力业务经营

海哥给任务，让我去熟悉UDR系统（进系统页面到处点点了解各个功能点是干啥的）

先上今日小tips：

UDR全称Unified Data Resource，统一数据资源服务

学习笔记：

微光的使命：让业务的数据化运营落地
业务运营-数据处理-UDR、客群系统
微光数据分类：
- 传统业务数据来自信用卡核心业务流程的数据，高度结构化，数据增长慢：
  - 客户数据
  - 卡片数据
  - 开卡数据
  - 申请数据
  - 交易清算
  - 积分
  - 电话服务
  - 伪冒检测
  - 。。。
- 新型业务数据来自于业务渠道，反应用户行为，量大，需要大数据技术才能处理：
  - 地理位置
  - 网站访问行为
  - 用户点击行为
  - 。。。
UDR - 完成海量数据存储、加工、产品化包装过程
- 包含4种数据类型：
  - 标签：身份、爱好、账务，提取用户的属性；
  - 事件：浏览、交易、下单，记录用户的行为；
  - 客群：细分的客户群
  - 模型：用户、商品评价。。
建模中心：填写基本信息->打标数据配置->特征配置->算法选择->效果评估->外推验证->预测打分->模型发布

Java常用特性简介

集合
- HashMap中的key的值没有顺序，常用来做统计；LinkedHashMap内部有一个链表，保持key插入的顺序；
- 迭代器

泛型

String是Object的子类，那么Box<String>是Box<Object>的子类吗？

通配符

public class Box<T> {
    private T t;
    public void set(T t) {this.t = t;}
    public T get() {return this.t;}
}

private void boxTest(Box<Object> box) {
	// TODO
}
Box<String> stringBox = new Box<>();
// Error
boxTest(stringBox);

private void boxTest(Box<? extends Object> box) {

}
boxTest(stringBox);

private void boxTest(Box<? super String> box) {
    
}

注解

spring容器的扫描装置，会在启动时扫描所有代码

@Controller
@RequestMapping(value = "user")
public class UserController {
    @RequestMapping(value="/submit", ...) {
        // TODO
    }
}

Lambda
- 有两个以上参数，有返回值，并且在Lambda体中有多条语句
  - ```
  (x,y) -> {
  	int sum = x + y;
  	return sum
  }
```
- Lambda体中只有一条语句
  - ```
  (x,y) -> x + y;
```
- 只有一个参数，小括号可以不写
  - ```
  x -> x * 2;
```
- 无参数，无返回值
  - ```
  () -> System.out.println("Hello Lambda");
```

Stream

Iterator：

通过遍历取出对象
操作对象

List<Integer> square = new ArrayList<>();
for (int n : list) {
	square.add(n * n);
}

Stream：

直接告诉集合，要对集合里的每一个对象进行什么操作

list.stream().map(n -> n * n);
list.stream().filter(n -> n != 0);
list.stream().sorted((o1, o2) -> o1 - o2);
list.stream().reduce((a, b) -> a + b);

Spring零基础入门

背景：让团队专注于应用层的业务逻辑
核心概念：
1. 依赖注入（DI）
2. AOP

Maven & Git

Maven – 项目管理工具
- POM(Project Object Model)：一个项目所有的配置都放在POM文件中，定义项目的类型，名字，管理依赖关系，定制插件的行为等等；
- 生命周期：开始->validate->compile->test->package->verify->install->deploy->结束
Git

Angular

集成开发环境
- nodejs
- @angular/cli
- micro-ray-angular-cli
Angular核心概念
- component
- module
- Route
Angular架构特色
- 依赖注入
- 数据绑定

微光平台材料

UDR – Unified Data Resource（统一数据资源），将数据标准化，为其他系统提供稳定、安全可信任的统一服务
2016.1 标签系统拆分成UDR和客群探索
客服数据、卡片数据、掌上生活数据、核心数据、实时交易、事实行为、客群探索、动态指标、模型管理 -> UDR -> 标签、事件、客群、模型、指标
- 标签：性别、职业、年龄
- 事件：办理行用卡、绑定掌上生活、购买手机、打电话询问十元风暴、办理账单分期
- 客群：具有相同标签的客户群体，如：男性客群、年轻客群
- 模型：是否愿意绑定微信
- 指标：男女比例
- UDR服务于（资源探索、客群探索、营销管理、客群分析、伪冒检测、动态指标、场景营销）