- 博客(51)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 实时OLAP（七）Apache Pinot实时离线混合查询
Pinot一张表分为实时和离线表离线给一个max timestamp离线表query (-inf, max_ts - 1day]实时表查[max_ts,inf]
2019-12-03 11:25:55
533
原创 实时OLAP（六）Facebook Presto connector Apache Pinot 打造实时OLAP系统
感谢uber开源了presto pinot connectorDownload and build Pinot:git clone https://github.com/apache/incubator-pinot.gitcd incubator-pinot/git checkout tags/release-0.1.0mvn install package -DskipTest...
2019-10-29 11:02:32
372
翻译 实时OLAP（五）Apache Pinot实时自动调优
Pinot 是可扩展分布式列式 OLAP 数据存储，由 LinkedIn 开发，为面向站点的用例（如 LindedIn 的 Who viewed my profile、Talent insights 等等）提供实时分析。Pinot 使用 Apache Helix 管理集群资源，并使用 Apache Zookeeper 存储元数据。Piont 在 LinkedIn 得到了广泛的采用：从内部控制面板到...
2019-10-24 10:59:35
589
翻译 实时OLAP（四）Apache Pinot Start-Tree索引技术
Pinot是进入Apache Incubation的开源的项目，可扩展的分布式OLAP数据存储。它是由LinkedIn开发的，可用于各种生产用例，以提供实时，低延迟的分析。Pinot面临的最大挑战之一是在大型数据集的延迟和吞吐量上实现并维持严格的SLA。现有的索引技术（例如排序索引和反向索引）有助于加速文档搜索以提高查询延迟。但是，它们的性能与计算结果时要处理的文档数成线性比例。另一方面，对结...
2019-10-05 21:01:54
1089
原创 实时OLAP（二）Apache Pinot快速入门
一、编译代码 git clonegit@github.com:apache/incubator-pinot.git cdincubator-pinot mvn install package -DskipTests -Pbin-dist -DdownloadSources -DdownloadJavadocs -Drat.numUnapprove...
2019-06-28 19:19:21
1277
原创 实时OLAP（一） Apache Pinot介绍
一、业务需求 微博万亿级别数据，实时摄取，实时数据多维分析，低延时响应二、调研实时OLAP clickhouse， druid，pinot，感觉这篇文章写得不错：https://medium.com/@leventov/comparison-of-the-open-source-olap-systems-for-big-data-clickhouse-drui...
2019-06-28 18:59:52
7721
转载 京东OLAP亿级查询高可用实践
OLAP（On-Line Analytical Processing）是联机分析处理，它主要用于支持企业决策和经营管理，是许多报表、商业智能和分析系统的底层支撑组件，支持从海量数据中快速获取数据指标。京东OLAP的发展历经Druid、Kylin、Doris和ClickHouse，广泛服务于京东各个子集团和各类场景中，经历了数次大促的考验无事故，本文会重点以ClickHouse为主，介绍京东OLAP高可用实践情况，如业务场景和选型的考量，运维部署方案，高可用架构以及在使用过程中遇到的问题和未来改进计划。
2021-06-10 11:13:27
250
原创 Clickhouse在微博实践与应用
一、集群管理系统要求grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"在线安装rmp包yum install yum-utilsrpm --import https://repo.yandex.ru/clickhouse/CLICKHOUSE-K...
2021-06-10 11:06:07
675
原创 netty 学习（1）
***server：***package cn.itcast_03_netty.sendstring.server;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.Channel;import io.netty.channel.ChannelFuture;import io.netty.channel.Cha
2017-06-17 22:41:24
285
转载 java 动态代理
%.1.2.动态代理 在之前的代码调用阶段，我们用action调用service的方法实现业务即可。 由于之前在service中实现的业务可能不能够满足当先客户的要求，需要我们重新修改service中的方法，但是service的方法不只在我们这个模块使用，在其他模块也在调用，其他模块调用的时候，现有的service方法已经能够满足业务需求，所以我们不能只为了我们的业务而修改ser
2017-06-11 22:45:04
259
转载 java 反射
package cn.itcast_04_reflect;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.List;import org.junit.Be
2017-06-11 21:35:24
238
转载 CentOS6.5 mini 安装和基本配置
而且mini版和完整版的安装是有区别的，有些东西是自动默认安装的，像引导，主机名，分区 1。安装选择界面，这个选第一个 2。镜像完整性检查，一般都是跳过SKIP 3。欢迎界面，进入安装了 4。语言选择，这个是没有中文的，用默认的英文就行 5。键盘布局，用默认的us
2017-06-04 15:00:01
9208
转载 eclipse+maven
引 题 Maven这个个项目管理和构建自动化工具，越来越多的开发人员使用它来管理项目中的jar包。本文仅对Eclipse中如何安装、配置和使用Maven进行了介绍。完全step by step。如果觉得本文对你有用，请移步到：http://download.csdn.net/detail/qjyong/5582071 下载PDF版，http:/
2016-12-22 18:39:22
350
转载 linux时间修改
自动调整linux系统时间和时区与Internet时间同步 2011-11-08 09:07:04分类： LINUX调整linux系统时间和时区与Internet时间同步一、修改时区：# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime修改为中国的东八区# vi /etc/sysconfi
2016-12-21 21:53:45
332
原创 storm基础篇（1）
1、编程模型DataSource：外部数据源Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给BoltBolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql，或者其他。Tuple：Storm内部中数据传输的基本单
2016-12-21 20:36:06
348
原创 剑指offer(二)
1、大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项。n12345678910111213publicclass Solution { publicint Fibonacci(int
2016-10-11 16:14:26
244
原创 剑指offer（一）
1、在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。public class Solution { public boolean Find(int [][] array,int target) { for(int i=0; i
2016-10-11 16:09:06
360
原创 美团笔试之编程题
有一个长为n的数组A，求满足0≤a≤b给定数组A及它的大小n，请返回最大差值。class LongestDistance {public: int getDis(vector A, int n) { // write code here int max_dis = 0;int min_num = A.at(0);int dis;
2016-10-05 13:47:13
1138
原创 Spark之Streaming
SparkStreaming 依赖如下demo1、从网络上获取数据处理demo2、指定目录处理（本地和HDFS）demo、带状态处理Statefuldemo4、Window操作demo5、词汇排名运行参数配置
2016-10-04 20:53:01
284
原创 Spark之wordcount
package com.dt.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContext/*** 使用scala开发本地测试的spark wordcount程序*/object wordcount{def main(args: Array[String]){/***
2016-09-14 21:11:40
290
原创 python学习（二）：并行开发（线程和进程）
多进程 linux、unix平台专属 fork wait Waitpid pipe和singal 守护进程 pipe和singal进程间管道通信、waitWaitpid#!/usr/bin/python27#import osimport t
2016-08-02 09:29:10
327
转载 python学习（一）：正则表达式
转自http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法
2016-08-02 09:25:31
238
原创 hadoop之MapReduce（1）
云计算知识：云计算是对现有资源集中优化后，对客户提供服务，从现在的情况来看云计算真实的为大家提供了服务，比如：网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作或与服务供应商
2016-07-28 21:48:27
486
原创 VMware10和ssh secure shell client3.2.9安装，文件共享
一、VM安装：1.如图找到VM所在目录：2.点击VMware-workstation-full-10.0.3-1895310文件进行安装：3.等待安装软件检测和解压以后，出现如下界面，直接单击下一步即可（此处不截图），然后选择我同意选项，直接下一步：2.选择自定义安装，根据自己的情况选择自己需要的功能。这里我们选择全部：3.更改软
2016-05-27 10:47:35
2489
原创 centos系统下,Qt中使用openGL和cuda，.pro需要配置的库和头文件
#CONFIG+= qt opengl warn_on releaseTEMPLATE = appCONFIG += console c++11CONFIG -= app_bundleCONFIG -= qt# this is the important part 配置openGL连接库，很重要，否则会出现 未定义引用的...linux|win32: LIBS +=
2016-05-20 17:13:37
1631
转载 详解CentOS设置163的yum源的过程
尽管CentOS系统的yum源是免费的，但是由于其源内的软件更新较慢，所以国内一般使用163的yum源居多。本文笔者和大家分享一下“详解CentOS设置163的yum源的过程”的经验，希望能对大家有所帮助！工具/原料装有CentOS系统的电脑方法/步骤1启动CentOS系统，打开火狐浏览器，如下图所示：
2016-05-17 21:11:50
347
转载 CentOS yum 源的配置与使用
一、yum 简介 yum，是Yellow dog Updater, Modified 的简称，是杜克大学为了提高RPM 软件包安装性而开发的一种软件包管理器。起初是由yellow dog 这一发行版的开发者Terra Soft 研发，用python 写成，那时还叫做yup(yellow dog updater)，后经杜克大学的Linux@Duke 开发团队进行改进，遂有此名。yum 的宗旨是
2016-05-17 21:07:12
472
转载 从大数据到认知计算，未来需要更强的计算能力
摘要：创新的Linux on power结合FPGA、GPU的计算模式，这也许是面向未来的认知计算最佳架构。认知计算是IBM提出的概念，认为“认知计算”是通过与人的自然语言交流及不断地学习，从而帮助人们做到更多的系统，是从硬件架构到算法策略、从程序设计到行业专长等多个学术领域的结合，能够使人们更好地从海量复杂的数据中获得更多洞察，从而做出更为精准的决策。IBM清晰地把认知计算定义为——具备
2016-05-08 16:15:05
1116
转载 qcustomplot使用方法
一、QCustomPlot的安装官方下载地址:http://www.qcustomplot.com/index.php/download推荐下载第一个链接，里面有很多官方给的例子可以参考。 下载之后将文件解压到任意一个文件夹中，不要有中文路径。打开QT，新建一个窗体工程将解压得到的文件夹里面的头文件qcustomplot.h和源文件qcustomplot.cpp复制粘贴到工
2016-05-06 22:24:34
6959
1
转载 cuda编程优化1
推荐CUDA程序优化的15个策略 【IT168 技术】在《CUDA程序优化策略》这篇文章中，我们介绍过CUDA优化的常见策略。今天我们会对CUDA优化策略进行详细讲解。具体策略如下： 1. memory coalescing，保证内存融合。因为global memory在CC为1.x上是按照half wrap进行访问读写的，而在2.x上是按照wrap进行访问读写的。在显存中，有多
2016-05-04 22:07:10
374
原创 centos7 无线网卡驱动的安装及无线网络的配置
centos7 无线网卡驱动的安装及无线网络的配置我的无线网卡的型号是：水星MERCURY 支持linux的驱动程序包是：RTL8188eu_USB_linux_v3.4.4_4749.201211051.首先查看网卡的信息lsusb
2016-03-18 22:50:20
48486
1
原创 VS2010 + QT中调用CUDA
VS2010 + QT中运行CUDA程序环境： Windows 7 SP1 x64 Microsoft Visual Studio 2010 qt5.5.1 CUDA 7.5 VS2010 + qt 和CUDA 7.5的安装及配置请参考网上资料 收了好
2016-03-04 21:06:36
1488
原创 cuda语法高亮设置
1.1 启动VS2010 1.2 新建一个win32的控制台工程，空的。 1.3 右键源文件文件夹->新建项->选择cuda c/c++->新建一个以.cu结尾的文件 1.4 右键工程-》生成自定义-》选择cuda生成 1.5 右键test.cu-》属性-》选择cuda c/c++编译器 1.6 右键工程-》
2016-01-23 21:44:55
1039
转载 Visual Assist X
Visual Assist X 破解版下载|免注册码Key 附详细破解教程发表于：2012年12月06日 分类：编程软件 1条评论 Visual Assist X是一款非常好的Microsoft Visual Studio插件，Visual Assist X能自动识别各种关键字、系统函数、成员变量、自动给出输入提示、自动更正大小写错误、自动标示错误等，有助于提
2016-01-01 12:51:03
517
原创 C/C++学习（九）循环双链表的操作之创建，插入、删除
双向链表循环单链表的出现，虽然能够实现从任一结点出发沿着链能找到其前驱结点，但时间耗费是O（n）。如果希望从表中快速确定某一个结点的前驱，另一个解决方法就是在单链表的每个结点里再增加一个指向其前驱的指针域prior。这样形成的链表中就有两条方向不同的链，我们可称之为双（向）链表（Double Linked List）。双链表的结构定义如下：//建立一个线性双向链表的存储结构
2015-12-27 22:10:03
3356
原创 C/C++学习（八）两个有序链表归并为一个有序链表
假设头指针为La和Lb的单链表分别为线性表LA和LB的存储结构，现要归并La和Lb得到单链表Lc，接着C/C++学习（七） #include using namespace std;templateclass T1>class linklist{public: linklist() {// p = new LNode;/
2015-12-27 10:56:30
1434
原创 C/C++学习（七）单链表的头插法，尾插法，元素插入、删除和查找 .
链表也是线性表的一种，与顺序表不同的是，它在内存中不是连续存放的。在C语言中，链表是通过指针相关实现的。而单链表是链表的其中一种，关于单链表就是其节点中有数据域和只有一个指向下个节点的指针域。创建单链表的方法有两种，分别是头插法和尾插法。所谓头插法，就是按节点的逆序方法逐渐将结点插入到链表的头部。反之尾插法就是按节点的顺序逐渐将节点插入到链表的尾部。相对来说，头插法要比尾插法算法简单，但是最后产生
2015-12-20 10:28:07
8711
原创 C/C++学习（六）线性表的插入、删除和查找
查找查找线性表是最基本的操作之一，比如根据序号查找元素的值，或者根据值查找该值是否在线性表中，如果在，那么序号是几等等。 插入如果插入的位置不合理，那么就抛出异常。如果线性表长度大于等于数组长度，则抛出异常或者动态增加容量。从最后一个元素开始向前遍历到第i个位置，分别将它们都向后移动一个位置。将要插入的元素填入位置i处。表长加1。删除如果删除位置不合理，抛出异常取出
2015-12-14 21:17:00
5832
windows ，虚拟机文件共享
2016-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人