2020年06月_熙客

原创文件存储格式

一、前言1.1 概述文件存储格式：文件存储格式是数据在磁盘上的组织方式，直接决定了数据存取效率以及被上层分布式计算集成的容易程度。1.2 常见存储格式创建的存储格式包括行式存储和列式存储两种：行式存储以文本格式Text File、key/value 二进制存储格式 Sequence File 为典型代表。列式存储以 ORC、Parquet 和 Carbon Data 三种文件格式为代表。1.3 行列存储数据组织方式数据（每一行由若干列构成）在行存储和列存..

2020-06-24 19:59:42 4552

原创数据序列化

目录一、概述二、数据序列化的意义三、数据序列化方案3.1序列化框架 Thrift3.2 序列化框架 Protobuf3.3 序列化框架 Avro四、序列化框架对比4.1 性能方面4.2 非功能方面一、概述数据序列化：数据序列化是将内存对象转化为字节流的过程，它直接决定了数据解析效率以及模式演化能力（数据格式发生变化时，比如增加或删除字段，是否仍能够保持兼容性）。二、数据序列化的意义当需要将数据存入文件或者通过网络发送出去时，需将数据对象转...

2020-06-23 09:31:24 3825

原创 Kafka_数据分发中间件

一、前言数据采集上来后，需要送到后端的组件进行进一步的分析，前段的采集和后端的处理往往是多对多的关系。为了简化传送逻辑，增强灵活性，在前端的采集和后端的处理之间需要一个消息中间件来负责消息转发，以保障消息可靠性，匹配前后端的速度差。二、Kafka概述kafka官网地址kafka文档地址2.1 产生背景 Kafka 是 LinkedIn 于 2010 年 12 月开源的消息系统，主要用于处理活跃的流式数据。活跃的流式数据在Web网站应用中很常见，这些数据包括网站的PV、用户访问了..

2020-06-18 12:45:06 1139

原创工厂模式--抽象工厂模式

抽象工厂模式：提供一个接口，用于创建相关或依赖对象的家族，而不需要明确指定具体类。使用场景：当需要创建产品家族和想让制造的相关产品集合起来时，可以使用。优点：把客户从所使用的实际具体产品中解耦。工厂方法模式和抽象工厂模式的区别：工厂方法使用继承（把对象的创建委托给子类，子类实现工厂方法来创建对象）。抽象工厂使用对象组合（对象的创建被实现在工厂接口所暴露出来的方法中）。代码：原料家族：interface X {}class X1 implements X...

2020-06-17 18:07:23 145

原创工厂模式--工厂方法模式

工厂方法模式：定义了一个创建对象的接口，但由子类决定要实例化的类是哪一个。工厂方法让类把实例化推迟到子类。优点：在编写创建者类时，不需要知道实际创建的产品是哪一个。代码：产品实现：public abstract class P { String name; String type; ArrayList list = new ArrayList(); void prepare() { System.out.println("name: " +

2020-06-16 20:53:19 200

原创 Flume_日志收集工具

目录一、前言二、简介2.1 概述2.2 发展历程2.3 基本思想及特点三、Flume NG 基本架构3.1 基本架构3.2 Agent 内部组件1、Source2、Channel3、Sink3.3 高级组件1、Interceptor2、Channel Selector3、Sink Processer四、Flume NG 数据流拓扑构建方法4.1 如何构建数据流拓扑4.2 流式数据获取方式4.2 常见拓扑架构1、多路合并.

2020-06-16 18:13:14 469

原创工厂模式--简单工厂

工厂：处理创建对象的细节。目的：将实例化具体类的代码从应用中抽离，或者封装起来，可以避免干扰应用的其他部分。简单工厂：简单工厂其实不是一个设计模式，反而像一种编程习惯。代码：产品实现：/** * DESC： * 产品A */public interface A { public void work1(); public void work2(); public void work3();}class A1 implements A { @

2020-06-13 22:56:16 85

原创单例模式

单例模式：确保一个类只有一个实例，并提供一个全局访问点。诞生起因：有一些对象只需要一个实例，如果创造出多个实例，就会导致许多问题产生，例如程序的行为异常、资源使用过量、或者是不一致的结果。应用：线程池、缓存、对话框、处理偏好设置、注册表等。思考：只有一个实例可以通过java的静态变量static做到，但是这样在程序一开始就创建好了对象，如果这个对象非常耗费资源，还一致不用，就很浪费，而单例模式可以在需要时才创建对象。public class A { private volatile

2020-06-10 09:34:34 96

原创 linux网络相关命令

1、列出当前的网络接口配置：ifconfig2、手动设置网络接口（wlan0）的IP地址：ifconfig wlan0 192.168.0.80 设置此IP地址的子网掩码：ifconfig wlan0 192.168.0.80 netmask 255.255.255.03、自动配置网络接口（eth0）：dhclient eth04、打印网络接口列表：ifconfig | cut -c-10 | tr -d ' ' |tr -s '\n' 解释...

2020-06-01 23:19:01 399

原创 Linux设置静态IP（CentOS）

1、切入root用户su root2、更改配置文件sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 3、重启网卡service network restart4、检验是否联网成功ping www.baidu.com

2020-06-01 17:47:33 99

xike1024的博客