![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
pinot
pinot学习以及部署遇到的一些问题
一杯咖啡半杯糖
让优秀成为一种习惯!
展开
-
Pinot创建表出现问题
背景是建立实时表schema和配置如下{ "dimensionFieldSpecs": [ { "dataType": "STRING", "name": "FA0010000000" }, { "dataType": "STRING", "name": "FA0010010000" }, { ...原创 2020-03-11 10:57:18 · 576 阅读 · 0 评论 -
pinot设置多值存储、默认值
pinot可以支持多值存储,默认值存储多值主要是配置schema,要在相关的字段中设置 "singleValueField": false默认值为在schema中相关字段设置"defaultNullValue": 99{"dimensionFieldSpecs": [{"dataType": "STRING","name": "F...原创 2020-03-09 12:13:46 · 532 阅读 · 0 评论 -
pinot的schema配置
下面文章为官网翻译:Pinot模式由一些列组成,这些列可以归类为维度、度量或时间。Dimensions——组织数据的列。例如, accountId, country, industry等。这些列用于分割数据,通常出现在查询中的 selection、 filter和 group-by部分。Metrics- 表示指标的测量的一些列。例如,numClicks, pageViews,等等。这些...原创 2020-03-09 12:02:42 · 547 阅读 · 0 评论 -
pinot的table配置
下面的配置由官网说明翻译过来:Table Config示例表配置和描述下面显示了一个示例表配置,其中的子节被重新排序。这些小节将在下面的小节中分别进行描述。功能特定文档的进一步链接到可用的地方。tableName:应该只包含字母数字字符、连字符(' - ')或下划线(' _ ')。虽然使用双下划线(' __ ')是不允许的,并保留在Pinot的其他功能。tableType...原创 2020-03-09 11:59:51 · 330 阅读 · 0 评论 -
pinot索引
Pinot目前支持以下索引技术,其中每种技术在不同的查询场景中都有各自的优势。默认情况下,Pinot将对每个列使用 dictionary-encoded(字典编码)forwardindex(前置索引)Forward IndexDictionary-Encoded Forward Index with Bit Compression (Default)对于列中的每个惟一值,我们...原创 2020-03-09 11:56:08 · 284 阅读 · 0 评论 -
pinot查询数据
pinot查询主要从下面几个方式操作1、从controller界面去查询2、pinot脚本查询(因为查询需要通过broker,所以端口为broker的端口)./pinot-admin.sh PostQuery -brokerPort 8000 -query "select count(*) from transcript"3、curl命令进行查询curl -X POST -...原创 2020-03-09 11:52:54 · 308 阅读 · 0 评论 -
pinot分布式搭建
通常,在部署Pinot服务时,最好遵循部署各种组件的特定顺序。在可能存在协议或其他重大差异的情况下,建议使用此部署顺序,部署按可预测的顺序进行,可以避免由于这些更改而导致的故障。顺序如下:a)pinot-controllerb)pinot-brokerc)pinot-serverd)pinot-minion一、节点hadoop01:...原创 2020-03-09 11:38:43 · 576 阅读 · 0 评论 -
pinot伪分布式搭建
本文中的伪分布式指的是pinot架构中每个组件controller、server、broker分别启动组成集群1、进入linux 的pinot目录的bin文件夹下2、pinot启动controller,使用自己的zookeeper集群非pinot中的zookeepernohup ./start-controller.sh-clusterName PinotCluster -cont...原创 2020-03-09 11:34:18 · 238 阅读 · 0 评论 -
pinot 内置单机版搭建
pinot执行最简单的单机版有两种方式,一个是下载已经稳定的二进制包,另一个是通过下载源码自己编译,由于pinot目前出于孵化阶段,推荐自己编译。第一种:下载二进制执行下载地址http://pinot.incubator.apache.org/download/下载二进制包tar -zxvf apache-pinot-incubating-0.2.0-bin.tar.gz执...原创 2020-03-09 10:32:14 · 214 阅读 · 0 评论 -
pinot架构
以下信息翻译自官网pinot架构部分:表:表是引用相关数据集合的逻辑抽象。它由列和行(文档)组成。段:表中的数据被分成(水平的)分片,称为段Pinot 组件1、Pinot Controller管理其他pinot组件(代理、服务器)以及控制将表/段分配给服务器。2、Pinot Server托管一个或多个段,并为来自这些段的查询提供服务3、Pinot...原创 2020-03-09 10:20:08 · 449 阅读 · 0 评论 -
pinot介绍
官网地址http://pinot.incubator.apache.org/更详细的说明https://pinot.readthedocs.io/en/latest/getting_started.html#compiling-the-codepinot是一个实时分布式OLAP数据库,用作低延迟数据分析关键特点一个面向列的数据库,具有各种压缩方案,如运行长度,固定位长可...原创 2020-03-09 10:08:24 · 832 阅读 · 0 评论