- 博客(58)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 通过函数创建分区表
create or replace function create_partion_table(tablename varchar,cur_date date)returns text as $tablename$declare month_val integer; cur_year integer ; first_day date ; last_day date ; partition_table_name text:=''; begin month_v.
2021-11-07 13:22:41
191
原创 数据处理脚本
filename_prefix=filename_suffix=log#保存处理过的日志的路径logger_path=#临时文件路径temp_dir=#数据源路径resource_path=/home/trace/#处理一小时之前的数据one_hour_ago=`date "+%Y-%m-%d_%H" -d "-1 hour"`#防止漏处理前三个小时的数据.需要进行检测two_hour_ago=`date "+%Y-%m-%d_%H" -d "-2 hour"`three_hour.
2021-08-25 12:00:58
303
原创 FutureTask
目录前言一. 测试代码二. FutureTask类1.1类注释1.2 关键成员注释1.3FutureTask构造函数1.3.1 以callable接口为参数的构造器1.3.2 以runnable接口为参数的构造器1.4 FutureTask的run方法1.4 FutureTask的set方法1.5 FutureTask的finishCompletion()方法1.6FutureTask的get()方法1.7 FutureTask的...
2021-07-07 15:04:32
206
原创 spark下的Task分发
spark下的Task分发文章目录spark下的Task分发前言一、Inbox类1.1 process方法。1.2 post方法。二、Dispatcher类2.1 构造器与成员变量2.2 postMessage方法2.3 MessageLoop方法三. outBox类3.1主要成员变量3.2主要的内部类3.2send方法3.2drainOutbox方法四. CoarseGrainedExecutorBackend3.1 onStart()方法3.2 receive方法五.CoarseGrained
2021-06-21 18:05:38
258
原创 spark app提交流程之cluster模式
二、yarn–cluster模式提交app省略相同部分的代码流程，直接进到差异的流程。2.1在hdp003节点提交app如下是以cluster 模式在hdp003节点提交app。2.2 然后cluster执行的代码会走这里2.3 反射调用YarnClusterApplication对象它也是通过反射的方式获取了YarnClusterApplication对象。然后调用了start方法。看一下2.3.1 YarnClusterApplication的start方法。2.3.2创建Cli
2021-06-19 18:43:53
427
2
原创 spark app提交流程之Client模式
spark提交app的流程。文章目录spark提交app的流程。前言一、yarn--client模式提交app1.1 SparkSubmit的main方法1.1.1 SparkSubmitArguments类1.1.1.1 parse方法1.1.2 根据action的行为决定执行对应的方法1.2 SparkSubmit的submit方法1.3 SparkSubmit的runMain方法。1.3.1.先执行准备提交环境方法。**1.4 prepareSubmitEnvironmen方法1.5 doPrep
2021-06-15 22:07:51
491
2
原创 postgres之sql性能分析知识整理
postgres之sql性能分析知识整理上一篇已经整理完数据库并行控制中关于事务，锁，相关的知识点，这次就开始学习学习一下关于如何分析sql的执行快慢了。文章目录postgres之sql性能分析知识整理前言一、一条postgres sql的查询sql是如何工作的。1.1一条sql执行的主要步骤。1.2解析1.3解析与重写1.4查询计划1.5执行器执行。二、 查看与分析计划树。2.1EXPLAIN关键字2.2成本估算的参照数据是什么2.2EXPLAIN+ ANALYZE获取计划树2.3获取更多的运行时统计
2021-06-14 09:56:14
2604
2
原创 postgres中的并行控制知识整理
postgres中的并行控制文章目录postgres中的并行控制前言一、postgres的并行控制思想，二、数据的隔离级别2.1.四种隔离级别2.2读已提交隔离级别2.3 可重复读隔离级别2.4 可序列化隔离级别三.显式锁定3.1 为什么需要锁3.2表锁3.3 表锁3.4 页级锁3.5 死锁3.6 咨询锁四.应用级别的数据完整性检查4.1 用可序列化事务来强制一致性4.2 使用显式锁定强制一致性五使用例子5.1事务的使用例子5.2锁的使用例子锁的使用例子其他前言上一篇写了数据库的索引，这一篇主
2021-06-12 20:00:37
465
原创 postgres 数据库的索引知识整理
postgres 数据库的索引知识整理。文章目录postgres 数据库的索引知识整理。前言一、什么是索引二、创建索引2.1普通的索引创建方式2.2组合索引2.3唯一索引2.4部分索引三.查询某张表中有哪些索引四.删除索引五.索引带来的好处六.索引的缺点七索引的类型7.1B-tree索引7.2 Hash索引7.3 GiST索引7.4 BRIN 索引索引八. B-tree中的多列索引的查询。九. 索引和ORDER BY十. 只用索引的扫描和覆盖索引10.1只用索引的扫描的条件10.2创建有效利用仅索引扫描功
2021-06-10 16:20:07
409
原创 postgres建表相关的语句
postgres常用的语句文章目录postgres常用的语句前言一、删表二、建表语句三. 给列属性创建索引四. 重新给表的Id创建一个序列器五.给表里插入数据前言先抄一下，以后用到拿出来改改就能解决了一、删表DROP TABLE IF EXISTS "table_name"二、建表语句多个列主键，一个目的就是为了防止资料重复。CREATE TABLE QRTZ_SIMPROP_TRIGGERS ( SCHED_NAME character varying(120) NOT NU
2021-06-05 17:32:53
704
原创 netty下的编码器与解码器，并学习自定义编解码器
netty下的编码器与解码器文章目录netty下的编码器与解码器前言一、为什么要编码解码。二、netty下编码类。2.1MessageToByteEncoder类2.1.1官方用例2.1.2 TypeParameterMatcher类2.1.3 MessageToByteEncoder下的write方法2.1.4 acceptOutboundMessage方法三、netty下解码类。3.1 netty下解码类的用例。3.2 decode方法3.2 callDecode方法3.3 channelRe
2021-05-30 14:09:02
203
原创 channel与outboundhandler下的方法
channel与outboundhandler下的方法。文章目录channel与outboundhandler下的方法。前言1.connect方法1.1 寻找outbound connect方法执行执行HeadContext的connect方法。2.close方法2.1连接超时3.write方法3.1 headContext的write方法。3.2最后会执行AbstractChannel的方法3.3 他在写到什么时候才会将数据刷到服务端呢？4.read方法4.1调用unsafe的beginRead方法4.
2021-05-26 22:55:37
481
原创 Channel与handler
Channel与handler文章目录Channel与handler前言1.数据从客户端发送给服务端1.1 ChannelRead1.2 ChannelReadComplete1.3 read2.客户端连接异常退出2.1exceptionCaught3.正常关闭客户端连接前言继续学习channel与handler的关系，上一篇写到client 连接到server后会触发channel active的方法，并且调用outboudhandler的read方法，接下来是要模拟client向服务端发送数据。
2021-05-19 18:47:55
236
原创 netty之handler与pipeline
handler 与 pipeline文章目录handler 与 pipeline前言一、pipeline与handler的关系1. pipeline下所有的handler1.1 serverchannel对应的pipeline1.1.1先放实验的代码：1.1.1pipeline下有几个handler.1.1.2pipeline，触发channelActive方法总结学习内容：学习时间：学习产出：前言接着继续学习,pipeline与handler的关系以及handler的生命周期，以及关键的接口方
2021-05-15 22:01:06
265
2
原创 Bootstrap连接Server
Netty源码阅读之Bootstrap连接Server1.连接远程服务开始debug看一下啊=客户端的channlel1.连接远程服务还是初始化channel，然后注册，唯一不同的是bootstrap这个类又重写了init方法。private ChannelFuture doResolveAndConnect(final SocketAddress remoteAddress, final SocketAddress localAddress) { final Channe
2021-05-11 15:12:26
519
1
原创 pgsql的case-when使用用例
1. 使用when case和获取json里面的属性的sql用例菜鸡的我sql写的少，pgsql的某些特性太强大了，记一下， 以后碰到了类的情况还能抄一抄代码。 with tmp as ( select task.*,(task_json::json->>'params')::json->>'outputTable' as outputTable,ins.show_name as processInstanceName, cast(((task_json::js
2021-05-07 16:56:05
6111
原创 实现sftp高可用
Keepalived+rsync+ZK实现sftp高可用方案文章目录Keepalived+rsync+ZK实现sftp高可用方案前言一、配置SFTP1.2 配置SFTP1.2 创建SFTP用户专属的目录1.3 配置SFTP配置文件1.4重启服务1.5如法炮制1.6测试二.Keepalived2.1安装2.2backup1的配置2.2 backup2的配置启动keepalived三.rsync3.1配置rsync3.2配置用户文件3.3启动服务3.4查看与测试四.单向同步脚本4.1backup2脚本4.2
2021-04-26 19:03:35
1219
原创 netty源码阅读之NioEventLoop执行server channel注册与绑定任务。
netty源码阅读之EventLoop的执行注册的任务。上一把篇追到了server channel的初始化以及注册但没有真正的完成注册，只是将server channel 包装成一个task 推进队列中，然后启动了EventLoop下的线程。肯定是通过这线程从队列的另一端将task取出来执行，都是这么个套路，现在就继续跟下去看它真正完成注册。文章目录netty源码阅读之EventLoop的执行注册的任务。SingleThreadEventExecutor类下的doStartThread方法NioEven
2021-04-18 00:53:46
162
原创 netty源码阅读之ServerChannel初始化与注册。
netty源码阅读之ServerChannel初始化与注册。上一章看了ServerBootstrap类的主要方法大致了解主要干了啥，现在开始顺着demo代码ChannelFuture f = bootstrap.bind(7777).sync();debug下去。仔细看一看这个过程主要做了哪些事情。跟进bind()方法主要看 initAndRegister()方法，看是初始化谁，又注册谁。 public ChannelFuture bind(SocketAddress localAddress) {
2021-04-14 13:12:57
318
翻译 Kerberos的介绍与认证机制
Kerberos的介绍与认证机制如下是翻译过来的~~，写的得劲。系列文章目录文章目录Kerberos的介绍与认证机制系列文章目录一．kerberos的背景二．kerberos 被应用的场景三．kerberos的相关概念3.1基本身份验证概念3.2密钥身份验证3.3验证器消息3.4密钥分发3.5会话票证3.5票证授予票证(TGT)四．Kerberos的授权流程4.1认证服务交换五.Kerberos的策略一．kerberos的背景Kerberos于1983年被开发为MIT雅典娜计划的身份验证引擎。
2021-04-13 18:20:28
1024
原创 netty源码阅读之ServerBootStrap类
netty源码阅读之ServerBootStrap实例化的过程在netty中有两个引导器，一个是服务端的引导器，一个是客户端的引导器。本次主要跟踪ServerBootstrap类的实例化在看它搞啥事。调试代码如下：ServerBootStrap类...
2021-04-12 13:16:22
147
原创 源码中的设计模式之拦截器设计模式
源码中的设计模式之拦截器设计模式文章目录源码中的设计模式之拦截器设计模式前言一、ReaderInterceptorExecutor源码二. MessageBodyFactory前言这个拦截器的源码是从jersey框架下提取出来的，拦截器在这个框架中是对输出输出流信息的拦截，过滤器则是对请求与响应的过滤。一、ReaderInterceptorExecutor源码删除不必要的代码留下核心代码~~读取拦截执行器下面 成员变量Iterator interceptors;被初始化，这个集合是在服务启动配置
2021-04-11 00:35:19
604
原创 源码中的设计模式之策略设计模式
源码中的设计模式之策略设计模式文章目录源码中的设计模式之策略设计模式前言策略模式下的源码DefaultEventExecutorChooserFactoryEventExecutorChooserFactory前言这次又水到了策略模式，这个简单~。（1）所谓的策略模式就是将既有的多个算法分别封装到不同的类下，并且这些算法都是对同一个问题提出不同的解决方式。（2）并且这些类都必须实现同一个接口。当用户调用该方法的时候,会根据用户传入的参数选择合适的算法,输出更优的解给用户.就是这么个意思~~策略
2021-04-07 13:59:22
118
1
原创 源码中的设计模式之过滤器设计模式
源码中的设计模式之过滤器设计模式文章目录源码中的设计模式之过滤器设计模式前言一 过滤器设计模式代码调用的客户端。二 过滤器的接口三 默认实现该接口的过滤器四 抽取其中一个过滤器前言其实过滤器设计模式，我怎么感觉跟拦截器设计模式在功能作用上怎么都一样呢。过滤器设计模式 ：是对满足过滤条件的对象进行放行或者修改该对象的相关属性，（对于不满足的也会放行让它继续向下执行？）拦截器设计模式 ： 也是对穿过它的对象进行拦截，如果满足就条件就放行否则就拒绝，同时在放行的时候也是可以修改通行的对象的属性。
2021-04-06 12:54:02
208
原创 源码中的设计模式之适配器设计模式
源码中的设计模式之适配器设计模式文章目录源码中的设计模式之适配器设计模式前言基于类的适配器模式基于对象的适配器模式前言继续学习~~经查找与适配器模式相关的学习资料，发现适配器设计模式有两种：一种基于类的实现，另一种基于对象实现。适配器设计模式主要解决需求方接口不兼容的问题，所以需要一个中间类进行转换的那么个意思。此外发现适配器模式跟前面的装饰者模式，静态代理有时候看着又很相似。说一下自己的理解，其实装饰者模式跟静态代理模式，在对象调用方那里都要求实现同一个接口的要求所以不存在接口兼容的问题
2021-04-04 14:56:31
140
原创 netty源码阅读之EventLoop实例化过程
netty源码阅读之EventLoop实例化过程继续EventloopGroup的实例化创建过程中给该对象分配多个EventLoop对象的时候会调用到如下方法@Override protected EventLoop newChild(Executor executor, Object... args) throws Exception { return new NioEventLoop(this, executor, (SelectorProvider) args[0],
2021-04-02 18:21:42
74
原创 netty源码阅读之EventLoopGroup实例化过程
前言《netty in action》的书也翻了几遍，大佬们的源码分析博客也看了一点。然后看书是真的没有学会，所以是真需要去实践学习~。EventLoopGroup族类EventLoopGroup这不能单个看某个类，netty里面有许多类都得拎起整个族谱看。大师们在继承上的代码组织的很厉害，废话不多说debug走起。EventLoopGroup构造器然后跟着代码执行流程走，最后关于NioEventLoopGroup调到这里 public NioEventLoopGroup(int nThrea
2021-04-02 14:59:41
104
原创 源码中的设计模式之模板方法设计模式
源码中的设计模式之模板设计模式该类的继承如下：父类SparkSubmitOptionParser抽掉不必要的代码class SparkSubmitOptionParser { protected final void parse(List<String> args) { Pattern eqSeparatedOpt = Pattern.compile("(--[^=]+)=(.+)"); int idx = 0; for (idx = 0; idx &
2021-04-01 12:38:24
197
原创 源码中的设计模式之装饰者设计模式
静态代理模式@Override public Thread newThread(Runnable r) { Thread t = newThread(new DefaultRunnableDecorator(r), prefix + nextId.incrementAndGet()); try { if (t.isDaemon()) { if (!daemon) { t.
2021-03-31 23:10:10
132
2
原创 基于LDAP配置Ranger授权之配置ranger conf
基于LDAP配置Ranger授权之配置ranger1.安装的时候一并安装了 infra Solr , Ranger Ranger KMS2.配置数据库下图是安装ranger admin的数据库配置，下图的配置是后面创建KMS数据库需要用到BD管理员权限这里配置了，用solr存储审计的信息advance的配置2.重启ranger登录uI观察2.1 user导入情况观察group的导入情况另外可以通过日志观察同步的情况确定同步是否有问题3.测试ranger授权情况1
2021-03-26 18:05:14
521
原创 基于LDAP配置Ranger授权之配置LDAP
基于LDAP配置Ranger授权之配置LDAP之前搭的测试集群都是裸机进行跑任务，开发，测试集群也随时可以拆了重装随意捣鼓嘛，现在需要给测试集群安装ranger，Kerberos等权限认证身份认证的东西往生产集群的配置靠近，由于之前的生产环境都是别人搭好没机会参与与研究，最近刚好有这个机会来安装配置，也为不久的将来去给客户搭个符合生产环境的集群。Ranger的安装总结语言由于是因为长达一周多看资料踩坑配置测试才正确地安装好才写这篇文章用于记录安装步骤，以供后来再次安装的时候能立刻copy解决问题，安装
2021-03-26 17:14:19
1022
原创 dolphin scheduler (六)
worker端处理的主要类图下面的图就是worker端的主要类图了，主要由接到一个task,再到判断task所属类型，替换参数的占位符最后再提交到集群的一个并将部分日志回写的过程~,（只是画一些自己认为是主要的类）TaskExecutorThread上一篇主要讲到了NettyRemotingClient与TaskExecuteProcessor这两个类，并且最后通过new 一个TaskExecutorThread 对象并将该对象丢给线程池帮运行，今天就看这类的代码，上代码凑字数：/** * ta
2021-03-23 23:20:47
503
原创 临时解决ambari 2.7.5.0.0版本无法选HDP版本的问题
Ambari 2.7.5编译前戏其实真不想编译，被公司里的一个老哥忽悠着去搞。直接用官网的2.7.4的不香嘛，编译报的错也是不好受。这里不贴怎么编译网上教程一堆~。再说都是去年编译的时候，花了大半个月来折腾。核心点就几个：（1）要把那三四个大jar包下载到，然后就报啥错就解决啥错。（2）接着编译成功后怎么知道自己需要写几个rpm包，所以这就需要跟2.7.4官方自带的rpm进行比较。然后找出对应的包。（3）有些rpm包是编译后没有的，然后可以用2.7.4的那个包的组件替换。比如收费的那个组件，O(∩
2021-03-22 00:04:29
2253
8
原创 shell分发公钥到目标服务器，实现免密登录
shell分发公钥到目标服务器，实现免密登录搭集群，如果手动分发公钥到各个节点那是真的类，得想办法弄个脚本帮忙才行，花了不少时间整一个能跑的脚本真不容易/(ㄒoㄒ)/~ 虽然写的烂但起码能是实现了功能，哈~~#!/usr/bin/expectset curAgent [lindex $argv 0]set serverIp [lindex $argv 1 ]set user_name "root"set password "cheng"set timeout 4
2021-03-19 21:44:00
195
原创 虚拟机磁盘新增分区
记录一下虚拟机磁盘扩容看到笔记本磁盘空间挺大的，然后事先安装的的时候分配的空间觉得小了就扩大一点。查看文件系统的大小在 点击 虚拟机 ->设置->磁盘->扩展，选择扩展到合适的磁盘大小。然后查看一下当前文件系统，存储分配情况，并没看到新扩展的内存被系统加载到。[root@localhost ~]# df -hTFilesystem Type Size Used Avail Use% Mounted ondevtmpfs devtmpfs
2021-03-18 13:22:45
276
翻译 Kderberos之HDP上给Apache HBase配置Kerberos（五）
在生产环境中保护Apache HBaseHBase是模仿Google BigTable的流行分布式键值存储。 HBase可以支持极快的查找，高写入吞吐量和强大的一致性，使其适用于从用例数据存储（如Facebook消息传递）到分析用例（如Yahoo Flurry）的各种用例。 HBase将数据存储在HDFS上，以提供线性缩放和容错能力。与HDFS相似，Kerberos集成通过在需要有效SPN进行身份验证的HBase协议中添加基于SASL的身份验证层而起作用。 另外，HBase本身在存储数据时使用Kerbe
2021-03-16 19:01:10
314
翻译 Kerberos之配置HDP组件Kafka(四)
标题为Kerberos配置HDP组件本节介绍如何配置Kerberos以对Ambari受管群集中的HDP组件进行强身份验证。为Kerberos配置Kafka本节介绍如何在Ambari管理的群集上为Kafka配置Kerberos安全性。Kafka的Kerberos安全性是一项可选功能。 启用安全性后，功能包括：•对客户端与代理之间的连接（消费者，生产者）进行身份验证•基于ACL的授权Kerberos for Kafka先决条件如果要为Kerberos配置Kafka，则群集必须满足一些先决条件，然
2021-03-16 18:27:02
698
翻译 Kerberos之使用Ambari启用Kerberos身份验证（三）
使用Ambari启用Kerberos身份验证本节介绍如何在Ambari管理的集群中为Hadoop用户和主机配置Kerberos进行强认证。检查表:安装和配置KDCAmbari能够在集群中配置Kerberos，使其与现有的MIT KDC或现有的Active Directory安装一起工作。本节描述了准备此集成所需的步骤。您可以选择让Ambari连接到KDC，并自动创建必要的服务和Ambari主体，生成和分发键选项卡(“自动Kerberos设置”)。Ambari还提供了手动配置Kerberos的高级选
2021-03-16 16:51:40
1156
翻译 Kerberos 为Hadoop启用SPNEGO身份验证(二)
为Hadoop启用SPNEGO身份验证默认情况下，对集群的基于http的服务和ui的访问不配置为需要身份验证。HDFS、YARN、MapReduce2、HBase、Oozie、Falcon、Storm的Web ui支持配置Kerberos认证。为Ambari服务器设置Kerberos本节描述如何使用Kerberos主体和keytab配置Ambari服务器，以允许视图通过SPNEGO对集群组件进行身份验证关于这个任务当为Kerberos启用集群时，组件REST端点(如YARN ATS组件)需要SPN
2021-03-16 14:43:01
1193
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人