![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算大数据
文章平均质量分 91
ly923976094
数据之路,吾将上下而求索
展开
-
京东OLAP亿级查询高可用实践
OLAP(On-Line Analytical Processing)是联机分析处理,它主要用于支持企业决策和经营管理,是许多报表、商业智能和分析系统的底层支撑组件,支持从海量数据中快速获取数据指标。京东OLAP的发展历经Druid、Kylin、Doris和ClickHouse,广泛服务于京东各个子集团和各类场景中,经历了数次大促的考验无事故,本文会重点以ClickHouse为主,介绍京东OLAP高可用实践情况,如业务场景和选型的考量,运维部署方案,高可用架构以及在使用过程中遇到的问题和未来改进计划。转载 2021-06-10 11:13:27 · 248 阅读 · 0 评论 -
Clickhouse在微博实践与应用
一、集群管理系统要求grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"在线安装rmp包yum install yum-utilsrpm --import https://repo.yandex.ru/clickhouse/CLICKHOUSE-K...原创 2021-06-10 11:06:07 · 671 阅读 · 0 评论 -
ClickHouse在京东流量分析的应用实践
1、四种复制模式2、表引擎3、数据查询4、运维监控转载 2020-02-08 21:02:32 · 434 阅读 · 0 评论 -
实时OLAP(七)Apache Pinot实时离线混合查询
Pinot一张表分为实时和离线表离线给一个max timestamp离线表query (-inf, max_ts - 1day]实时表查[max_ts,inf]原创 2019-12-03 11:25:55 · 532 阅读 · 0 评论 -
实时OLAP(六)Facebook Presto connector Apache Pinot 打造实时OLAP系统
感谢uber开源了presto pinot connectorDownload and build Pinot:git clone https://github.com/apache/incubator-pinot.gitcd incubator-pinot/git checkout tags/release-0.1.0mvn install package -DskipTest...原创 2019-10-29 11:02:32 · 370 阅读 · 0 评论 -
实时OLAP(五)Apache Pinot实时自动调优
Pinot 是可扩展分布式列式 OLAP 数据存储,由 LinkedIn 开发,为面向站点的用例(如 LindedIn 的 Who viewed my profile、Talent insights 等等)提供实时分析。Pinot 使用 Apache Helix 管理集群资源,并使用 Apache Zookeeper 存储元数据。Piont 在 LinkedIn 得到了广泛的采用:从内部控制面板到...翻译 2019-10-24 10:59:35 · 587 阅读 · 0 评论 -
实时OLAP(四)Apache Pinot Start-Tree索引技术
Pinot是进入Apache Incubation的开源的项目,可扩展的分布式OLAP数据存储。它是由LinkedIn开发的,可用于各种生产用例,以提供实时,低延迟的分析。Pinot面临的最大挑战之一是在大型数据集的延迟和吞吐量上实现并维持严格的SLA。现有的索引技术(例如排序索引和反向索引)有助于加速文档搜索以提高查询延迟。但是,它们的性能与计算结果时要处理的文档数成线性比例。另一方面,对结...翻译 2019-10-05 21:01:54 · 1080 阅读 · 0 评论 -
实时OLAP(二)Apache Pinot快速入门
一、编译代码 git clonegit@github.com:apache/incubator-pinot.git cdincubator-pinot mvn install package -DskipTests -Pbin-dist -DdownloadSources -DdownloadJavadocs -Drat.numUnapprove...原创 2019-06-28 19:19:21 · 1275 阅读 · 0 评论 -
实时OLAP(一) Apache Pinot介绍
一、业务需求 微博万亿级别数据,实时摄取,实时数据多维分析,低延时响应二、调研实时OLAP clickhouse, druid,pinot,感觉这篇文章写得不错:https://medium.com/@leventov/comparison-of-the-open-source-olap-systems-for-big-data-clickhouse-drui...原创 2019-06-28 18:59:52 · 7701 阅读 · 0 评论 -
hadoop之MapReduce(1)
云计算知识:云计算是对现有资源集中优化后,对客户提供服务,从现在的情况来看云计算真实的为大家提供了服务,比如:网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商原创 2016-07-28 21:48:27 · 486 阅读 · 0 评论 -
Spark之wordcount
package com.dt.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContext/*** 使用scala开发本地测试的spark wordcount程序*/object wordcount{def main(args: Array[String]){/***原创 2016-09-14 21:11:40 · 289 阅读 · 0 评论 -
Spark之Streaming
SparkStreaming 依赖如下demo1、从网络上获取数据处理demo2、指定目录处理(本地和HDFS)demo、带状态处理Statefuldemo4、Window操作demo5、词汇排名运行参数配置原创 2016-10-04 20:53:01 · 283 阅读 · 0 评论 -
storm基础篇(1)
1、编程模型DataSource:外部数据源Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给BoltBolt:接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql,或者其他。Tuple:Storm内部中数据传输的基本单原创 2016-12-21 20:36:06 · 348 阅读 · 0 评论 -
eclipse+maven
引 题 Maven这个个项目管理和构建自动化工具,越来越多的开发人员使用它来管理项目中的jar包。本文仅对Eclipse中如何安装、配置和使用Maven进行了介绍。完全step by step。如果觉得本文对你有用,请移步到:http://download.csdn.net/detail/qjyong/5582071 下载PDF版,http:/转载 2016-12-22 18:39:22 · 350 阅读 · 0 评论 -
netty 学习(1)
***server:***package cn.itcast_03_netty.sendstring.server;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.Channel;import io.netty.channel.ChannelFuture;import io.netty.channel.Cha原创 2017-06-17 22:41:24 · 284 阅读 · 0 评论 -
java 反射
package cn.itcast_04_reflect;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;import java.util.ArrayList;import java.util.List;import org.junit.Be转载 2017-06-11 21:35:24 · 238 阅读 · 0 评论 -
java 动态代理
%.1.2.动态代理 在之前的代码调用阶段,我们用action调用service的方法实现业务即可。 由于之前在service中实现的业务可能不能够满足当先客户的要求,需要我们重新修改service中的方法,但是service的方法不只在我们这个模块使用,在其他模块也在调用,其他模块调用的时候,现有的service方法已经能够满足业务需求,所以我们不能只为了我们的业务而修改ser转载 2017-06-11 22:45:04 · 258 阅读 · 0 评论 -
从大数据到认知计算,未来需要更强的计算能力
摘要:创新的Linux on power结合FPGA、GPU的计算模式,这也许是面向未来的认知计算最佳架构。认知计算是IBM提出的概念,认为“认知计算”是通过与人的自然语言交流及不断地学习,从而帮助人们做到更多的系统,是从硬件架构到算法策略、从程序设计到行业专长等多个学术领域的结合,能够使人们更好地从海量复杂的数据中获得更多洞察,从而做出更为精准的决策。IBM清晰地把认知计算定义为——具备转载 2016-05-08 16:15:05 · 1116 阅读 · 0 评论