2019年07月_oneslide

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

翻译 YARN Documentation

YARN的基本功能就是将资源管理和任务调配/监控方面的功能分离出来。YARN有一个全局的资源管理器（RM），每个应用都有一个ApplicationMaster(AM)。一个应用是一个任务或一个DAG（任务组成的有向无环图）。RM有两个主要组件，调度器（Scheduler）和应用管理器（Application Manager）Scheduler只负责在规则约束下分配资源，不负责监控任务状态等。...

2019-07-30 09:51:24 224

翻译 Hadoop生态系统

Hadoop 生态系统HDFS: HDFS是存数据的地方，存的数据是结构化或非结构化MapReduce：基本编程模型处理大数据，运行于廉价机器集群MapReduce：基本编程模型处理大数据，运行于廉价机器集群Spark:大规模数据处理引擎，流处理允许其处理无限数量的数据 Pig:Spark:大规模数据处理引擎，流处理允许其处理无限数量的数据Pig:Pig是数据流语言，Pi...

2019-07-29 19:53:03 190

原创 Linux yum & rpm

/etc/yum.conf包含yum更新软件需要用的URL.[main]cachedir=/var/cache/yum/$basearch/$releaseverkeepcache=0debuglevel=2logfile=/var/log/yum.logexactarch=1obsoletes=1gpgcheck=1plugins=1installonly_limit=5b...

2019-07-26 16:36:05 725 1

原创 linux tools cheatsheet

rsyncRsync is a fast and extraordinarily versatile file copying tool. It can copy locally, to/from another host over any remote shell, or to/from a remote rsync daemon. It offers a large number of op...

2019-07-26 11:34:30 372

原创 Netty-时间服务器

Hadoop的RPC框架用到netty了解下Referenceshttps://www.jianshu.com/p/0d0eece6d467

2019-07-26 10:23:56 224

转载通信模型术语表

WebhooksWeb hooks are a incredibly useful and a resource-light way to implement event reactions. Web hooks provide a mechanism where by a server-side application can notify a client-side application ...

2019-07-25 14:35:24 136

原创订单流程

风险1.选中支付方式和卡券信息环节，会将订单金额也POST到后台。后台会根据orderID进行计算单价，防止恶意订单金额篡改。攻击者可选择的只有支付方式和卡券信息，后台也只需要这两个信息，即支付方式和被选中卡券的ID。...

2019-07-25 10:28:21 482

原创极限

等价无穷小lim⁡x→0ex−1x=1\lim_{x \to 0} \frac{e^x-1}{x}=1x→0limxex−1=1lim⁡x→0ln(1+x)x=1\lim_{x \to 0} \frac{ln(1+x)}{x}=1x→0limxln(1+x)=1lim⁡x→0sinxx=1\lim_{x \to 0} \frac{sinx}{x}=1x→0limxsinx=1l...

2019-07-22 13:45:38 581

原创常用导数与积分

常用转换公式1+tan2x=sec2x1+tan^2x=sec^2x1+tan2x=sec2x导数(logax)′=1xlna(log_ax)'=\frac{1}{xlna}(logax)′=xlna1(ax)′=axlna(a^x)'=a^xlna(ax)′=axlna由反函数公式推导出的导数：x=f(y)的反函数y=f−1(x)x=f(y)的反...

2019-07-22 13:21:51 1631

翻译 Flink Note

又是认识一个新组件的一天，看官方文档ing数据计算的场景Event-driven Applications（基于事件的应用）基于事件的应用从多个事件流获取数据，并通过计算，状态更新做出反应。传统应用采用分离的数据层和计算逻辑层，而事件驱动应用基于状态流处理应用数据和应用共存。容灾是通过周期性将检查点（checkpoint）保存远程持久化存储中。典型事件驱动场景包括异常检测，监控，社交媒...

2019-07-20 13:57:23 187

原创 LSM

So磁盘的随机读写性能要远远低于顺序读写。现在的B+数在每次数据插入（写操作）都要更新索引，引起额外的写操作。所以，对于大型数据集的场景（写多读少，随机读更少）不太合适。Google发表了一篇论文（10年前）参考文献2，引入了LSM树，其基本思想就是将随机写改为顺序写，而适当牺牲读性能。基本思路一条数据插入时，写入到一个文件（成为Store File）中。文件是只能追加的。数据在一个文件...

2019-07-16 19:59:39 311

原创 HBase Note

HDFS是一个分布式的文件系统，一个文件甚至超过一个主机的硬盘存储，基础文件块128MB。而HBase希望给予HDFS构造一个能够操作百万列*十亿行组成的数据库。...

2019-07-13 18:06:25 208

原创 HTTP笔记

代理特点：组织内部针对特定网站的访问控制；via标记经过主机路径缓存代理代理转发响应时，缓存代理（Caching Proxy）会预先将资源的副本（缓存）保存在代理服务器上。当代理再次接收到对相同资源的请求时，就可以不从源服务器那里获取资源，而是将之前缓存的资源作为响应返回。透明代理转发请求或响应时，不对报文做任何加工的代理类型被称为透明代理（Transparent P...

2019-07-02 11:00:39 137