m0_54082598的博客

Sentry安装1、cm中选择添加服务，选择sentry2、选择要安装sentry的主机3、配置数据库HDFS配置开启启动访问控制列表，选中打勾开启检查HDFS权限服务开启sentry服务hive配置修改hive配置参数，搜索sentry-site添加参数搜索sentry，sentry服务选择sentry搜索Hive Impersona...

UDAF继承UDAF内部定义一个静态类，实现UDAFEvaluator接口实现init，iterate，terminatePartial,merge,terminate五个方法编写代码完成后install打包Rz -bye 上传到本地Hdfs dfs -put -f **** * /**/**上传到hdfsAdd jar hdfs:// jar包所在路径Create temporary function 函数名称 as ‘主类路径’Hive sql中调用udaf函数

软件设计的六大原则1、单一职责原则原则思想 : 一个方法只做一件事,一个类只负责一个职责,这样当前职责改动,不会对其他程序产生影响常识原则,几乎所有程序员都会遵循这个原则优点 : 降低类和类之间的耦合度,提高可读性,可维护性,可扩展性,降低可变性的风险2、里氏替换原则原则思想 : 能使用父类的地方,就一定可以使用子类子类还可以扩展父类的功能,但是不能更改父类的功能,并且子类还可以有自己特有的功能优点 : 增加了程序的健壮性,即使有了新的子类,原子类不受影响,可以正常执行3

继承 :继承是从已有类中,派生出新的类,新的类拥有父类的属性和行为,并且还能扩展新的属性和行为，java中只支持单继承,不支持多继承,这样可以让java中的继承关系比较简单，一个类只能有一个父类,但是一个父类可以有很多子类,易于维护和管理，为了解决单继承功能变弱问题,java提出了接口,一个类可以实现多个接口。继承是可以传递的,比如A继承B , B继承C , 则 A也会拥有C的功能，私有属性和构造方法是不能被继承，如果一个类没有显示继承其他类,则该类继承Objectjava.lang.Object ..

this就是每个对象中，保存自身内存地址的一个引用型变量作用： 1、在成员方法或构造方法中区分同名的成员变量和局部变量 语法：this.xxx=xxx; 2、用在某个构造方法中，用于重载调用当前类中的其它构造方法，提高代码的重用性 语法：this(参数)；必须在构造方法第一行 3、return this;返回当前对象的内存地址，可以做到链式调用this(); 重载调用有参构造，必须在构造方法中的第一行，注释和换...

一. 小时级实时数据仓库构建的开发流程1、找到数据流（done）2、将数据源进行有序化排序处理，模拟最真实的微博数据流的真实数据的生产过程。3、接收微博数据流数据4、转发到kafka集群5、kafka集群的搭建与运维（done）6、消费kafka形成小时级的微博数据文件7、将小时级文件定期、自动化load到小时级微博数据分区表二小时级实时数据仓库构建的详细开发过程1、找到数据流（done）2、将数据源进行有序化排序处理，模拟最真实的微博数据流的真实数据的生产过程。

redis概览 是一个单进程单线程模型的基于内存的高性能的key-value内存型数据库 支持数据的持久化,提供string,list，set，zset(sortedset)，hash等数据结构的存储,支持主从备份,3.x后分布式布署操作原子性,丰富的实用特性，如订阅-发布模式(可替换Kafka)，生产者消费者模式，key过期等常用易用的模式 主要场景是加速客户端访问速度或其它要加速提效的功能点,做一些缓存或限时任务等 java操作redis,加入jedis依赖

一丶Kafka应用 鉴于kafka在实际使用时，绝大多数应用场景均为Producer和Consumer的API配合使用，故在此只介绍这两种API操作方法，其它的Connector和Streams还有admin可以视自身情况自行学习。 1.java版实现步骤创建maven项目(done)加入kafka依赖producer push message实现consumer pull message实现效果测试加入依赖<dependency> ...

kafka概念介绍： 吞吐量：单位时间内处理的数据量。讲求的是单位时间内处理的数据量要大 Zookeeper是什么： 概念说明：zk是分布式环境下的第三方协同服务，帮助分布式系统，比如存储、计算、调度等均需要协同服务 特点特征：简单、易使用、高效、稳定 应用场景：核心是要解决一致性问题 分布式环境下的命名一致性问题 分布式服务环境下的高可用性问题 HA问题：high available 核心还是一个选举策略问题 代码