peking1987-CSDN博客

原创 nginx设置proxypass，报资源加载问题

1、如果设置/这种简单配置，那不会报任务错误location / { proxy_pass http://IP:PORT/; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_s...

2021-04-24 21:30:11 1188

原创 airflow scheduler如何将task提交给worker执行

1. 提交路径：从SchedulerJob类中的def _execute_helper(self)方法中的self.executor.heartbeat()开始看到BaseExecutor类的def heartbeat(self)方法： def heartbeat(self): # Triggering new jobs if not self.par...

2019-11-06 11:10:02 1283

原创 repackage failed: Unable to find main class -> [Help 1]

问题：下载公司新的maven工程打包，报repackage failed: Unable to find main class -> [Help 1]错误现象：1）IDEA Event Log窗口报Auto build completed with errors，没有其他任何提示信息尝试解决办法：1）查看是否有该main class，发现java文件存在对应的main函...

2019-11-06 09:11:30 1479

原创 Airflow的dag的解析方法

从Job.py SchedulerJob类的_execute方法开始 def _execute(self): self.log.info("Starting the scheduler") # DAGs can be pickled for easier remote execution by some executors pickle...

2019-10-30 15:33:00 2551

原创 Flink整体印象

最近在开发推荐系统，准备使用flink1.9进行近线特征开发，所以阅读了flink官方文档、部分源码以及源码解析博客（https://github.com/bethunebtj/flink_tutorial/blob/master/%E8%BF%BD%E6%BA%90%E7%B4%A2%E9%AA%A5%EF%BC%9A%E9%80%8F%E8%BF%87%E6%BA%90%E7%A...

2019-10-27 12:08:47 261

原创 AIRFLOW使用总结

由于机器学习各流程时长较长，并且流程比较复杂，经过选型对比，决定选用airflow作为流程调度器一、选型对比网上有较详细的各种流程调度器特性对比：https://www.jdon.com/workflow/Airflow-vs-Azkaban-vs-Conductor-vs-Oozie-vs-Amazon-Step-Functions.html个人选择airlfow作为机器学习流程调...

2019-10-20 10:55:04 5699

原创记一次JVM参数调优

背景：升级某银行风控系统内存数据库，8亿数据。升级后存在性能下降的风险，切换一台后端服务对接新的内存数据库，对比发现超时率上升（要求TP99 18ms），性能果然下降（此时怀疑新版本内存数据库性能更差）问题分析过程：1. 抽取超时数据对比，发现数据量比较小的交易经常超时，数据量比较大的交易新的服务性能反而更好，排除内存数据库问题2. 进一步统计这些数据量比较小的数据超时时间点，发现超时...

2019-10-14 09:09:04 205

原创数据量极限测试的好处

当测试数据量增加使得系统内存和存储等占用比例很大时，可以观察在极限情况下系统的自动恢复能力是否不在意料之中，此时往往可以测试出一些意想不到的bug。...

2019-08-28 20:08:57 222

原创 java sl4j打印导致ArrayBlockingQueue数据丢失

现象：单线程读取文件中数据放入ArrayBlockingQueue 类型队列中（数据存储为final Object [] 类型）Object[] parseLine(line){ Object[] result = 。。。; logger.info(result); // 屏蔽日志打印后读取数据正常retrun result;}finalObject[] ...

2019-08-01 19:04:21 469

原创如何面试程序员

考察如下能力：1. 基础知识java基础知识数据库基础知识基础算法和数据结构2. 开源项目了解程度和面试者聊熟悉的开源项目，从如何使用到框架优缺点再到底层原理spring、mybatis、kafak、k8s、docker等等3. 基本素质是否诚实沟通能力团队合作意识4项目经验本人参与什么模块，什么角色长期项目考察遇到什么疑难问题，如何解决...

2019-07-27 12:48:15 158

翻译进一步学习设计模式——Head First Design Patterns

1. 设计功能包括约束和目标2. 设计模式并不是一层不变的，如果你的设计模型和经典的设计模式有区别，不妨记下来，方便后人理解。3. 问题都有两面性，就像目标和约束，二者终究要有一个平衡点，否则无法稳定。May the force be with you!4. Elements of Reusable Object-Orie

2014-01-22 21:46:51 833

翻译访问者模式——Head First Design Patterns

定义：当封装类似功能的原则不是很重要时，可以通过访问者模式遍历组合对象，增加新功能使用场景：当封装类似功能的原则不是很重要，并且需要给某个组合对象增加新功能时类图：代码样例：优点：1）在不改变组合对象结构的情况下，轻松地给组合对象增加新功能 2）新增的功能集中在访问者对象中缺点：1）组合对象的功能并没有完全封装在自身当中 2）由于采用了遍历功能，改变组合对

2014-01-22 21:43:02 416

翻译原型模式——Head First Design Patterns

定义：通过克隆已存在的实例生成新实例使用场景：当创建一个类的新实例代价很昂贵时，例如当创建一个由相当多子类组成的类时类图：代码样例：spring配置原型模式优点：1）能够创建未知类型的对象 2）拷贝对象可能比创建一个新对象更高效缺点：1）复制一个对象有时候很复杂类似的设计模式：配套的内功心法：1）原型模式在不知道具体类的情况下生成

2014-01-22 21:36:42 672

翻译备忘录模式——Head First Design Patterns

定义：备份某个对象的状态，这样能够将一个对象恢复到上一个状态使用场景：当需要回到某一状态时类图：代码样例：序列化和反序列化优点：1）提供恢复状态的能力缺点：1）保存和恢复状态比较耗性能类似的设计模式：配套的内功心法：1）备忘录对象的作用是保存状态

2014-01-22 21:35:00 535

翻译解释器模式——Head First Design Patterns

定义：通过类定义一组语法，并且通过解释器解释符合语法的句子。每一个类都是一种语法规则，汇总起来就是一种语言。使用场景：实现一种简单的语法解释器类图：代码样例：优点：1）每个类都代表一种语法，便于理解 2）便于改变或者扩展 3)缺点：1）当语法太多时，解释器模式会变得相当复杂类似的设计模式：配套的内功心法：1）

2014-01-22 21:31:30 583

翻译责任链模式——Head First Design Patterns

定义：使用多个对象处理同一个请求使用场景：同一个请求需要进行多种不同处理时类图：代码样例：优点：1）不同功能在不同的对象中，可以通过改变链的成员或者顺序，动态添加或者删除功能 2）缺点：1）难以调试和定位问题类似的设计模式：配套的内功心法：1）

2014-01-22 21:28:48 794

翻译享元模式——Head First Design Patterns

定义：当多个类实例有完全相同的属性或者方法时，使用一个类实例代替多个类实例相同的部分使用场景：当多个类实例有完全相同的属性或者方法时类图：代码样例：优点：1）减少实例，节省内存 2）集中管理类实例相同的部分缺点：1）不同实例耦合了其中相同的部分类似的设计模式：配套的内功心法：1）

2014-01-20 23:17:15 664

翻译建造者模式——Head First Design Patterns

定义：抽象封装一个产品的创建过程，使得创建过程可以分步进行使用场景：类图：代码样例：优点：1）规范化产品创建步骤 2）类似产品可以使用同一个规范缺点：1）类似的设计模式：配套的内功心法：1）

2014-01-20 23:15:16 952

翻译中介者模式——Head First Design Patterns

定义：使用一个中介者类集中化管理对象之间的通信或者交互使用场景：界面各组件之间的协作管理类图：代码样例：优点：1）通过集中管理，增加功能的重用性 2）简化系统中对象之间的通信或者交互方式 3)简化维护缺点：1）如果设计的不够好，中介者模式本身就会变得很复杂类似的设计模式：配套的内功心法：1）

2014-01-20 23:11:08 877

翻译桥接模式——Head First Design Patterns

定义：将抽象与实现分离，使得二者可以独立变化使用场景：已有系统增加一个新特性，可以桥接上去类图：代码样例：优点：1）解耦各种不同维度的变化，增强代码的稳定性缺点：1）变复杂了类似的设计模式：配套的内功心法：1）一个功能有多个维度的变化，将每个维度的变化都分离

2014-01-20 23:09:23 585

翻译复合模式——Head First Design Patterns

定义：组装使用某些设计模式，并且这些设计模式放在一块能解决一种通用问题使用场景：类图：代码样例：MVC 优点：1）集各种设计模式的优点 2）解决一种通用问题缺点：类似的设计模式：配套的内功心法：1）MVC中的M实际不是指模型，而是指具体的逻辑代码 2）MVC包含观察者（视图显示）、策略（控制器，用于调用不同的逻辑）、组合（人机接口）等设

2014-01-20 23:05:19 663

翻译代理模式——Head First Design Patterns

定义：为对象提供一个代理以控制其它对象对它的访问使用场景： 1）远程代理：访问远程对象 2）虚拟代理：根据需要创建开销大的对象 3）保护代理：控制对原对象的访问类图：代码样例：package headfirst.proxy.virtualproxy;import java.awt.*;import javax.swing.*;class Im

2014-01-16 22:41:02 957

翻译状态模式——Head First Design Patterns

定义：当一个对象的内部状态发生改变时，它的行为也随着改变，就好像换了一个类一样。使用场景：同一个上下文中，某个对象有不同的状态，并且不同的状态行为不一样类图：代码样例：package headfirst.state.gumballstate;public interface State { public void insertQuarter()

2014-01-16 22:30:49 910

翻译组合模式——Head First Design Patterns

定义：组合模式将对象组合成树形结构以表示“部分—整体”的层次关系，这使得使用者处理单个对象和组合对象时具有一致性使用场景：当单个对象和组合对象需要对外提供类似的接口时类图：代码样例：package headfirst.composite.menu;import java.util.Iterator;import java.util.ArrayList

2014-01-09 23:12:36 653

翻译迭代器模式——Head First Design Patterns

定义：迭代器模式提供一种不暴露集合就能访问集合内多态对象的途径使用场景：需要遍历某个集合时类图：代码样例：package headfirst.iterator.dinermerger;public class ArrayIterator implements Iterator { MenuItem[] items; int position =

2014-01-09 22:57:07 628

翻译模板方法模式——Head First Design Patterns

定义：模板方法定义了一个算法的步骤，并且允许子类重载某些步骤。使用场景：算法的总体步骤基本稳定，但是某些步骤的具体算法经常改变类图：代码样例： package headfirst.templatemethod.barista;public abstract class CaffeineBeverageWithHook { void prep

2014-01-07 22:19:29 815

翻译门面模式——Head First Design Patterns

定义：集成子系统的接口，对外提供一个统一的接口，以方便高层接口对其调用。使用场景：当对外提供的接口比较多，使用者很难掌握时类图：代码样例：package headfirst.facade.hometheater;public class HomeTheaterFacade { Amplifier amp; Tuner tuner; DvdPl

2014-01-07 22:11:00 684

翻译适配器模式——Head First Design Patterns

定义：将一个类的接口转换成使用者期望的接口，适配器使得使用者能够调用接口不匹配的类。使用场景：需要将一个接口适配成另一个接口的时候，例如兼容旧版本的产品类图：代码样例：package headfirst.adapter.ducks;public interface Turkey { public void gobble(); public void

2013-08-19 22:54:10 740

翻译命令模式——Head First Design Patterns

定义：将一个任务封装为一个拥有特定接口的对象，这样不同的请求（例如排队请求或者记录日志）对应的任务可以封装为拥有相同接口的不同对象，并且能够支持还原操作。使用场景：拥有多个请求及其对应的任务，需要支持还原操作，例如排队请求或者记录日志请求。命令类自身执行请求而不是委托给接受者在实际应用场景中是很常见的。类图：代码样例：1）java线程的任务就相当于命令类p

2013-04-22 23:02:55 469

翻译单例模式——Head First Design Patterns

定义：保证一个类只有一个实例，并且提供一个公有的获取该实例的方法。使用场景：类当前没有任何属性并且以后也不大可能增加属性类图：代码样例：防并发的：public class Singleton { private static Singleton uniqueInstance; // other useful instance variables

2013-04-15 22:34:39 415

翻译抽象工厂模式——Head First Design Patterns

定义：创建一组相似或者相互依赖的对象，但是创建方法不返回具体的类。使用场景： 1）当需要创建多个系列的产品时，想要保证同一系列的产品在同一个工厂里面类图：代码样例：public class ChicagoPizzaIngredientFactory implements PizzaIngredientFactory { public Doug

2013-04-08 23:01:57 463

翻译工厂方法模式——Head First Design Patterns

定义：定义一个用于创建对象的接口，让子类决定初始化哪一个具体的类。工厂方法把具体类的实例化推迟到子类。使用场景： 1）当类的某个属性需要不同的实例化对象时；2）当不知道类的某个属性会有多少不同的实例化对象时类图：代码样例：public abstract class PizzaStore { abstract Pizza createPizza(Str

2013-04-01 23:25:33 439

翻译装饰者模式——Head First Design Patterns

定义：提供一种比扩展更灵活的选择（实际上还是用了组合），给对象动态地添加额外的功能。使用场景：当需要给已有功能添加额外的功能时类图：代码样例：JDK内置的输入流代码（如PushbackInputStream） public class StarbuzzCoffee { public static void main(String args[])

2013-03-31 17:16:26 426

翻译观察者模式——Head First Design Patterns

定义：对象间一组一对多的依赖关系，当目标对象的状态发生改变时，所有依赖对象会被自动通知到并且发生相应的变更。使用场景：多个对象的属性之间存在随动关系的场合，观察者模式在UI设计中很常用类图：代码样例：JDK拥有内置的观察者模式代码（Observable, Observer） public class WeatherData implements Subje

2013-03-29 23:45:54 413

翻译策略模式——Head First Design Patterns

定义：设计一组可以互相替换的算法，使得算法使用者不会因为算法的变化而在代码结构上受到影响。使用场景：业务功能经常发生改变或者定制性比较强的功能点类图：代码样例：典型的Has-A关系 public abstract class Duck { FlyBehavior flyBehavior; QuackBehavior quackBehavior;

2013-03-28 22:03:22 501

翻译简介——Head First Design Patterns

1. 知道抽象、继承、多态的概念并不意味着你是一个好的设计人员。一个真正的设计大师知道如何创建灵活可维护的接口以适应变化。2. 大脑不喜欢存储那些没有的信息，它倾向于存储那些真正有意义的信息，以确保大脑存储资源被有效地利用。3. 提高学习设计模式的效率：1）节奏慢下来，理解的越多，需要记忆的就越少2）多做练习，多写笔记3）Read the “There are No Dumb Qu

2013-03-25 23:25:20 588

翻译学什么——Head First Design Patterns

1. 占有重要地位的设计模式2. 什么时候用以及为什么要用设计模式？3. 怎样在自己的设计中使用模式？4. 什么时候不应该使用设计模式？5. 面向对象的设计原则，这些是设计模式的基础，相当于武功秘籍的内功心法

2013-03-25 23:23:41 398

peking1987的专栏