nice to meet you2-CSDN博客

原创 Kylin 广播机制流程、源码分析——Broadcaster

Kylin的广播机制在整个Kylin集群中作用非常重大，各个节点之间的数据同步均是通过广播机制进行。1、Project/Model/Cube的元数据信息变化，由Broadcaster通过api的形式广播通知其他节点；2、build完成后触发auto merge等。广播机制大致流程：1、注册事件监听器：Tomcat启动后执行相关类的afterPropertiesSet方法，注册相关...

2019-05-22 21:16:32 490

原创 iframe在ie9 ie8 ie7 ie6 360 firefox中自适应高度

以下代码是iframe在ie9 ie8 ie7 ie6 360 firefox中自适应高度的。这个问题曾经折腾我很久，现在终于解决了，现在和大家分享一下。下面红色代码必须。//ie9则用下面js代码可以让iframe自适应高度 function iframeResize(iframe) { var idocumentElement = iframe.

2012-07-05 12:02:12 2054

原创如何添加旺旺客户，淘宝店铺左侧代码

添加旺旺客服：将其中的lucaswxj换成你的旺旺id就可以了。如果不明白的朋友，可以加我旺旺：lucaswxj或者 QQ：1336051675　在线客服：导购客服: 专业搭配: 订单咨询: 8:00-24:00周六日及法定假期照常上

2011-12-06 16:34:12 3363

原创通过js去掉所有的html标签，得到HTML标签中的所有内容

//替换掉所有的 html标签，得到Html标签中的内容 var s=" 北京中航宇飞科技有限公司是一家致力于为中国国防工业服务的高新企业。事业一部主要以连接器、常异型热缩套管和电缆组件的外协加工为主。凭借泰兴这个得天独厚的连接器生产基地的优势，公司生产圆形J599、J598、XC、Y2、Y3、Y4、Y11X、Y1

2011-12-06 16:27:42 4583 1

原创通过js获取服务器 ip 服务器端口服务器地址

通过js获取服务器 ip 服务器端口服务器地址 var address=window.location.href; thisDLoc = document.location; var hostport=document.location.host;

2011-10-28 10:22:50 25254

原创 spring 学习基础笔记包括spring 的代理 JDK CGLIB 事物 AOP 以及各种注入

1.建立第一个sprint项目（java project）步骤:window-->preferences-->java-->user libraries-->new-->给要加的包命名-->add jars-->1）、spring的依赖包 *spring_home/dist/spring.jar *spring_home/lib/jakarta-commons/comm

2011-09-27 11:48:51 1583

原创 freemarker ftl 文件中写radio单选框select 下拉框并且带if条件判断

checked value="${t.id}">蓝色主题 checked value="${t.id}">淡蓝主题 checked value="${t.id}">绿色主题

2011-09-15 14:34:46 11999 3

转载 alfresco集群负载均衡配置

alfresco集群负载均衡配置转载于：http://blog.csdn.net/teamlet/article/details/44473242009-08-14 16:45 737人阅读评论(3)收藏举报机器两台：A机器：172.16.48.26：用于Alfresco服务器（集群节点1）用于数据库服务器、文件服务器（共

2011-08-12 17:40:25 1917 1

Docker 概述略Docker 安装https://blog.csdn.net/wangxiaojing123/article/details/116887667Docker 常用命令https://blog.csdn.net/wangxiaojing123/article/details/116887704Docker 简单 Demo 应用之安装Nginxhttps://blog.csdn.net/wangxiaojing123/article/details/116888006Dock

2021-05-23 17:20:08 177

原创 Docker 简单 Demo 应用之安装Nginx (三)

Docker 概述略Docker 安装https://blog.csdn.net/wangxiaojing123/article/details/116887667Docker 常用命令https://blog.csdn.net/wangxiaojing123/article/details/116887704Docker 简单 Demo 应用之安装Nginx安装找到 Docker Hub 上支持的Nginx镜像版本拉取镜像#查看当前机器上已有镜像[root@vmnode01 ~ 0

2021-05-16 13:21:50 242

原创 Docker 安装（一）

Docker 概述略Docker 安装官方安装文档https://docs.docker.com/engine/install/centos/# 卸载sudo yum remove docker \> docker-client \> docker-client-latest \> docker-common \>

2021-05-16 12:19:37 544

原创终于等到你 —— Kylin Hive Global Dict and Global Domain Dict

前几天，Kylin社区的同学告诉我，Kylin Hive Global DICT V2(分布式全局字典V2)和Global Domain Dict（全域字典）功能已经合并到Master分支，将在3.1版本发布，想要跃跃欲试的伙伴们，可以去吃螃蟹了。当时在滴滴负责Kylin引擎时，我的第一个用户提的首要需求就是要满足超高基数精准去重的需求，后来也与负责其他OLAP引擎的同事讨论，大家总结了4条OLAP引擎应该具备的最重要或最常用的4个功能，其中之一就是需要具备超高基数精准去重的能力。”我有物美价廉的估.

2020-06-07 23:45:37 603

原创 Clickhouse 查询分布式表子查询（Distributed Subqueries ）

官方文档：https://clickhouse.tech/docs/en/sql-reference/operators/in/#select-distributed-subqueries在分布式表上执行in/join等子查询的时候建议使用global in或globaljoins，直接使用普通的in/join可能有数据正确性的问题，直接使用 in 在分布式表又可能导致性能问题。如我们有3台服务器，每台服务器上有一张叫local_table的表，另外还有一张分布式表distribute_table

2020-05-21 23:53:55 4877

原创 Apache Druid —— 使用Druid SQL 查询数据源Datasources（二）

根据__time 过滤查询#查询XXX这张表__time在2019-06-03T16:00:00.000Z至019-06-03T16:07:00.000Z的数据，__time为此datasource的时间序列，每个datasource多会有这样一个字段，是用户指定的一个业务时间映射的。也可以写成 from druid.XXXXSELECT * from XXXXWHERE __time >='2019-06-03T16:00:00.000Z' and __time <'2019-06-0

2020-05-09 21:09:36 1263

原创 Apache Druid —— 使用Druid SQL 查询元数据查询（一）

Druid使用SQL查询时，默认有3个schemal(类似于mysql的库）：druid/INFORMATION_SCHEMA/sys 。用户的所有datasource均表示为表，存储在druid这个schemal(库)下，默认的schemal为druid，所以查询的数据时可以是from druid.datasourceName也可以直接from datasouceName，另外Druid还有两个系统级别的schemal：INFORMATION_SCHEMA and SYS。Druid元数据表介绍。

2020-05-09 18:18:26 3990 2

原创 spring mnv (一)

一、SpringMVC框架原理重要组件1.1 DispatcherServlet : 前端控制器,接收所有请求(如果配置/不包含jsp)，负责拦截所有请求.1.2 HandlerMapping: 解析请求格式的.判断希望要执行哪个具体的方法，主要是解析他需要调用那个方法等相关的参数.1.3 HandlerAdapter: 负责调用具体的方法,负责调用HandlerMapping解析出来的...

2020-04-15 10:38:50 302

原创 clickhouse安装(单机版)—服务安装

1、添加hadoop账号2、设置hadoop账号具有sudo权限#切换root账号，执行visudo[root@bigdata-k-01 ~]# visudo#在visudo 中root ALL=(ALL) ALL下添加一行hadoop......## Allow root to run any commands anywhereroot ALL=(ALL) ...

2020-04-14 16:10:04 1102 2

原创 linux shell常用

1、通过用户输入写入到某个文件 stdin#创建 test.txt文件，用户输入内容，知道输入EOF时结束（是不是EOF无所谓，可以是任意字符），前面加个-表示每行开头是制表符号在输入这里定义的结束符EOF也可以，否则只能顶行写结束符才识别#在用户输入EOF结束符后，结束stdin，输出stdoutcat > test.txt << -EOF...

2020-04-13 15:36:05 88

原创 spark groupByKey 循环数组行转列

使用spark-shell 通过groupByKey方法将行专列。一、需求在HDFS或本地目录有一份text格式数据(数据内容为英文逗号分隔，字段内容为uid,value,key），现在要求将这些数据按照uid分组，cat /home/hadoop/janusgraph-data/source.csv299067472793701,1003422322c6c937c63af250637...

2020-03-23 18:23:56 565

原创 SparkGraphComputer janusgraph bulkloading adjacent list

一、定义graphgraph schemal编写 /home/hadoop/janusgraph_data/bulkingloading-schemal-define.groovy,定义graph schemal[[email protected] ]$ cat bulkingloading-schemal-define.groovydef defineBu...

2020-03-21 14:06:43 2075 3

原创 Spark 生成 janusgraph adjacent list

图数据库中的数据通常会来源于多张自然表在hive或关系型数据库.如存储人员城市graph。通常会有3张表，人员表(person)、地址表（address）、人员地址关联关系表（person_address）。一、原始数据原始数据person/address/person_address在HDFS /user/prod_kylin/janusgraph/source目录下：person....

2020-03-21 12:46:13 664

原创 Clickhouse简介

一、Clickhouse定义Clickhouse是一个列式数据库，通常适合OLAP场景二、适合Clickhouse的场景或一般的OLAP场景绝大多数的请求都是读请求；数据更新适合大批量，比如一次更新1000条以上，或者不更新，不适合一次更新1条记录；对于读取，会从数据库中获取相当多的行，但只有每行的一小部分列。clickhouse适合大宽表，但是每次查询只查询几列；...

2020-03-16 09:55:45 1539

原创 Kylin RealTime OLAP 如何配置自定义格式的时间列

在配置Kylin RealTime 数据源时，需要指定一个时间列，这个列默认需要是timestamp类型，实际上Kylin也支持设置为自定义格式，如yyyy-MM-dd HH:mm:ss格式。本文将分别介绍timestamp格式和自定义日期格式的配置方式。添加数据源：Model——DataSource——Add streaming table v2: 按照步骤一步步填写，到如下图位置时...

2019-12-31 19:50:26 462

原创 java内存使用情况

此篇文章对 runtime.totalMemory()、runtime.freeMemory()、runtime.maxMemory()讲的通俗易懂。https://www.iteye.com/blog/7sunet-285007

2019-11-08 16:20:05 119

原创 Extract Fact Table Distinct Columns(MR) 流程和源码解析

Extract Fact Table Distinct Columns job 进行统计估算和字典编码、范围计算，具体主要做3件事情：1、HLL估算统计每个cuboid的结果条数；2、所有非Derived维度列的范围（min-max）；3、所有需要字典编码的列进行字典编码；这3部分内容都会存储到HDFS上，共后续步骤使用。本文所有的讲解根据MR实现进行讲解，Spark大家对照思路进行分析。...

2019-11-01 19:00:50 1070

原创 Kylin RT OLAP reassign流程即重新分配replica_set 流程

一、页面操作选择需要reassign的cube：Action——AssignMent——edit——save二、源码分析2.1 代码执行流程：用户提交assignment——》StreamingV2Controller(master).reAssignStreamingCube——》StreamingV2Service.reAssignCube——》Coordinator.reAssi...

2019-10-24 14:26:11 310

原创 Kylin实时OLAP(RT OLAP) segment状态变化流程

ACTIVE—— IMMUTABLE ——REMOTE_PERSISTED——Ready一、Active每个segment创建的时候初始为Active状态，只有active状态的segment可以消费数据，由kylin receiver负责创建Active的segment,分布????如下两处触发：1.1、启动Receiver时启动消费服务：参见代码StreamingServer.start...

2019-10-23 14:43:03 723

原创 Kylin 实时OLAP如何做CheckPoint

一、新建cube第一次消费的情况：此种情况根据kylin.stream.consume.offsets.latest配置，true表示从最新的数据开始消费，false表示从最早的数据开始消费，默认为true.二、Disable cube再enable的情况Kylin在disable cube时操作：1、清空zk节点上此cube的数据（/kylin/KYLIN_PROD:kylin_meta...

2019-10-22 10:39:21 250

原创 Kylin实时OLAP（Real Time OlAP又称RT OLAP）查询模块源码分析

Kylin RT OLAP 查询大致逻辑：Kylin query节点根据当前传入的查询条件，定位到要查询的segment，在根据这些segment定位哪些segment从历史（hbase）查询、哪些segment从实时节点（receiver）查询，需要通过receiver查询的segment，kylin query server通过发送一个http请求给对应的receiver节点进行查询，re...

2019-09-29 18:38:51 1381 1

原创 Kylin Real Time OLAP查询数据不准确问题定位解决全过程

最近团队正在调研Kylin Real Time OLAP (RT OLAP)模块，由于此模块社区还未发布稳定版，才使用过程中多多少少会踩坑，本文主要是对《通过Kylin查询的数据与ES查询的数据对不上》的问题，整个过程的排查、定位、解决思路的全过程进行记录，希望大家在遇见类似问题时可以有提供一些参考。一、问题描述通过 Kylin RT OLAP 创建了一个cube(rt_cube_test...

2019-09-28 00:56:22 976

原创 HBase change causes Kylin restart problem (Kylin 2.0 HBase 0.98)

Background: We have some Kylin clusters (Kylin 2.0 HBase 0.98) on the line must restart all Kylin nodes after HBase delete nodes, change RSGroup, change Region server or HTable splitting operations. ...

2019-07-29 11:19:44 244

原创多套Kylin集群共享Hbase和Hadoop计算集群关键配置最佳实践

由于Kylin的本身架构（广播特性）和业务特点通常不适用于单套Kylin集群的节点过多，通常大家采用拆分Kylin集群但是底层的Hbase集群和计算集群用一套的方式进行部署。本文主要根据目前咱们的实践经验对于此种场景集群配置进行分享，希望对大家有所帮助。一、部署环境：Kylin集群：当前有两套Kylin集群（kylin-cluster01,kylin-cluster02）；部署...

2019-07-26 16:10:01 1046

原创 Kylin2.0-Hbase0.98重启问题

背景：目前当HBase添加、删除节点、重启、移动rgroup或者hbase table移动region server等操作后，均需要Kylin的所有节点重启，理论上这些操作可以对上层应用透明或者只有短暂的不可用后自行恢复。但是目前咱们有8套Kylin集群均需要在HBase变动后进行Kylin重启才可以继续提供相应的服务，对上层服务影响较大，HBase的变更也会变得复杂。但是咱们提供的Kylin ...

2019-07-23 16:23:41 424

原创 Kylin 社区master动向 20190625

Kylin master 分支 2019-04月到06月新的功能和bug fix列表https://github.com/apache/kylin

2019-06-25 18:40:46 252

原创 Kylin 广播机制流程、源码分析-触发autoMerge segments为例

接下来看下staticListenerMap是什么时候放入的：其中CacheService注册cube相关的静态listener（cacheSyncListener）主要就是触发auto merge 相关接下来咱们看下cubeService中注册的静态listener中的onEntityChange方法：keepCubeRetention方法：mergeCubeSeg...

2019-05-23 12:17:20 330

原创 spark 排序并添加编号添加行号和初始值

1、可以全局根据某个字段排序；2、输出排序后的值，每个值需要带上当前的行号；如：Array(1, 10,12,39,23456,8,2, 3,50,87, 4,1,7,3,10000002, 5);输出： Array((1,0), (1,1), (2,2), (3,3), (3,4), (4,5), (5,6), (7,7), (8,8), (10,9), (12,10), (39,11),...

2019-05-22 17:19:19 4593

原创 Java HotSpot VM 命令行配置-《java性能优化权威指南》阅读笔记

命令行：HotSpot启动时解析命令行选项并据此配置HotSpot VM.其中一些配置供启动器使用，如指定选择哪些JIT编译器，垃圾回收期；还有一些经启动器处理后传给完成启动的HotSpot VM,例如指定Java的堆内存。命令行选项主要有3类：标准选项（Standand Option）:标准选项是Java Virtaul Machine Specification 要求所有的Jav...

2019-05-14 11:02:21 181