get it now-CSDN博客

原创 druid查询源码追踪

待整理和完善。。。org.apache.druid.cli.Main --> CliBroker getModules()–> BrokerQueryResource.getQueryTargets()–> 1.List ServerViewUtil.getTargetLocations(BrokerServerView,datasource,interval,…) 获取segmentLocation, 2.ResourceIOReaderWriter.ok()读取segment

2020-12-09 16:45:11 561

原创 druid kafka摄取任务预聚合逻辑源码追踪

1.梳理druid预聚合逻辑摄取预聚合主逻辑：KafkaRecordSupplier.poll() --> IncrementalPublishingKafkaIndexTaskRunner.getRecords() --> SeekableStreamIndexTaskRunner.getRecords()--> StreamAppenderatorDriver.add(record) --> BaseAppenderatorDriver.append() --> ..

2020-12-09 16:40:06 530

原创 github提交代码命令(向开源社区提交代码)

#若没有添加远程地址，则添加，取名如upgradegit remote add upgrade https://github.com/apache/druid.git拉取远程最新代码upgrade代码git fetch upgrade#查看修改文件状态信息git status添加修改且准备提交的文件git add filename1 filename2提交并注释git commit -m “upgrade”和并远程代码到本地mastergit merge upgrade/master

2020-10-17 11:57:37 602

转载 JMH-基准性能测试

见https://developer.51cto.com/art/202006/618560.htm?mobile###

2020-08-01 21:40:01 203

原创 hadoop2.6.0升级到最新2.10或3.x

参考地址：https://www.cnblogs.com/luengmingbiao/p/11324801.htmlhttps://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.htmlhttps://hadoop.apache.org/docs/r2.10.0/hado...

2020-02-25 22:55:28 2628

原创 hadoop3.1.3集群搭建(ha+yarn)

当前环境：centos6.5,jdk8准备工作：1.服务器之间免密登录$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys2.服务器之间时间同步3.安装zook...

2020-02-15 19:05:07 1818

原创大数据之mapreduce作业在Yarn上提交流程

提交作业流程图：各自任务：1、客户端，提交MapReduce作业2、YARN的资源管理器（Resource Manager），协调集群中计算资源的分配3、YARN的节点管理器（Node Manager），启动并监控集群中的计算容器4、MapReduce的Application Master，协调MapReduce作业中任务的运行。Application Master和Map...

2019-04-17 22:36:04 1861

原创一道大数据面试简单算法题（java实现）

题目描述：707829217是两个素数a，b的乘积值。1.求出a,b值。2，若a>b,则将a拼接上b（即ab）得到一个新数c,求1到c奇数序列中3的个数。代码如下：package test;import java.util.Date;/** * 866278171 * 3的个数：368247332 * @author Administrator */public c...

2019-04-12 14:50:59 857 1

原创大数据之HDFS读写流程（文件上传与下载）

今天来谈谈hdfs的读写流程：HDFS上传文件步骤（写流程）流程：1. 调用客户端的对象DistributedFileSystem的create方法；2. DistributedFileSystem会发起对namenode的一个RPC连接，请求创建一个文件，不包含关于block块的请求。namenode会执行各种各样的检查，确保要创建的文件不存在，并且客户端有创建文件的权限。如果...

2019-04-11 20:19:55 1754 1

原创 7大排序算法之冒泡、选择、插入排序

1、冒泡排序原理：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。代码：/* * 冒泡排序 */...

2019-04-10 19:12:49 2789 2

原创高效的动态规划算法应用案例

1.前言：动态规划与分治算法类似，递归求解子问题，再组合子问题来求解。但动态规划在子问题有重叠的情况下有优势。动态规划算法用于求解最优化问题，所求解的问题需要满足最优子结构性质：问题最优解由相关子问题的最优解组合而成。2.动态规划的两种实现方式： 2.1 带备忘的自顶向下法所谓的带备忘，即保存每一个子问题的解，在下次用时直接取出而不需要重新计算，从而提高效率

2017-03-11 10:48:08 2196

转载 mysql查询优化手段

mysql查询优化手段汇总如下： 1、应尽量避免在 where 子句中使用!=或 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is nul

2016-11-29 23:47:57 274

原创去重表数据（oracle/DB2数据库）

首先建立测试表，并插入一些重复数据--drop table testt;create table testt( t_id integer, t_name varchar2(20), t_age integer);insert into testt values(1,'a',22);insert into testt values(1,'a',22);

2016-11-28 00:06:33 1805

转载 svn安装搭配MyEclipse使用教程

svn分为服务端和客户端（或svn插件），本文介绍服务端和svn插件安装与使用。安装服务端下载地址：https://www.visualsvn.com/downloads/ 进入下载页后选择32位或64位的下载，如下图所示 svn插件安装方式有两种：第一种是下载svn插件，第二种是直接在MyEclipse中通过Help下载更新svn插件。安装方法

2016-10-26 21:58:55 2312

原创远程连接oracle数据库设置

首先找到自己电脑上的listener.ora文件，将HOST=localhost改为主机名，因为使用localhost不能进行远程访问。.../app/Oracle/product/11.2.0/dbhome_1/network/admin/listener.ora例如：主机名为AY140316135826Z 将host值设置为oracle所在服务器的主机名 LIST

2016-10-26 21:53:08 1232