- 博客(11)
- 收藏
- 关注
RSS订阅原创 StarRocks更新和主键模型对Array的支持
StarRocks v2.1 开始在更新模型和主键模型支持了Array类型>PR: Support array type in primary and unique key. by Linkerist · Pull Request #1723 · StarRocks/starrocks · GitHub-- before this PR:mysql> create table t1(id bigint not null, ids array<int>) primary
2022-04-11 13:56:43
1385
原创 Quickstart StarRocks on Mac laptop
ContentsDocker pull CentosPrepare StarRocks tar balesInitiate a docker containerFix Java JDKDeploy StarRocks-CE-2.0.1TESTDocker pull CentosInstall Docker on mac, refer to https://www.docker.com/get-started Pull Centos images as below:(Zs
2022-01-26 19:43:53
3338
1
原创 玩转 StarRocks on ES 全文检索
目录部署ES下载Config系统参数启动VerifySR 外表测试2：全文检索插件ESSR部署ES 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz Config sr@cs02:~/app/elasticsearch-7.16.2$grep -v ^# config/e..
2022-01-22 11:15:15
3528
1
原创 用 StarRocks on ES 实现 分词
目录部署ES下载Config系统参数启动Verify常规用法创建Index_cat查看settings删除indexBulk导入数据SearchSR 外表测试1：分词ESSR部署ES 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz Config sr@cs0
2022-01-22 11:05:40
2104
2
原创 故障修复集锦-记一次StarRocks导入导致be频繁OOM
现象从4个节点扩容到7个节点 发起了一次300G数据的导入后， 7台中有3个be进程持续OOM造成进程重启调查过程监控系统监控到，64G的内存，几分钟便OOM系统日志dmesg -T里能看到类似这样的东西： out of memory kill process dorisdb_be score 977 or sacrifice childCompaction score执行如下指令看到5千多的score:grep "highest_score=" be
2021-12-18 14:31:24
1430
原创 用StarRocks玩转用户画像-5-DMP精准营销
客群圈选 - 属性明细表模型客群属性明细表，建模时，比较常用的有2种模型：宽表模型主要适用于前导流程为离线ETL，模型相对固定 可以基于宽表模型构建物化视图，加速圈选查询效率 另外宽表模型，对于基于UID查用户明细，应对高并发场景也比较友好 宽表模型示意如下：纵表模型(高表)适用于前导为实时ETL，模型变动较快，如当日有新增属性标签， 纵表模型避免了做schema change相对灵活 缺点：难以命中物化视图，建表时也需要考虑数据倾斜相关难点 纵表模型示意如下：b
2021-12-09 21:50:06
1618
原创 用StarRocks玩转用户画像-4-最强OLAP产品
StarRocks产品擅长场景OLAP分析的典型场景大致可分为四类，自助分析，实时分析，数据服务与固定报表 四类场景的查询负载是不同的，所以传统的数仓方案基本只能满足一个到两个场景，通常需要组合不同的技术栈去解决。 比如自助分析使用impala的大规模数据分析能力，在数据服务的场景就会用redis或hbase增加并发能力，实时分析会使用flink+RDBMS的方案。 而StarRocks的先进设计可以同时覆盖上述四类场景，在不同的场景下均有优异的性能表现。架构全景StarRocks.
2021-12-09 21:45:34
2764
原创 用StarRocks玩转用户画像-3-传统解决方案
组合标签计算-传统方案痛点应用角度： 筛选客群得分别在多个索引搜索后，再做聚合，比较麻烦技术角度： 架构较重，维护复杂 Sql能力差(join和聚合等)，开发成本大， 定制开发，扩展不灵活ES vs Hbasees主要是个查询引擎，大量存的代价较大，Hbase优势在大规模读写1）数据量 随着数据量的增加，es的读写性能会有所下降，从存储原始数据的角度来看，hbase要优于es2）数据更新 Es数据更新是对文档进行更新，需要先将es中的数据取出，设置更新字段后再写入es hb.
2021-12-09 21:36:36
1806
原创 用StarRocks玩转用户画像-2-方法论
用户画像 - 业务特点业务应用精准营销 广告投放,个性推荐,弹窗推送 群体分析风险预警效果分析渠道分析业务难点数据体量庞大，检索方式灵活 组合标签计算，开发复杂度高 精确去重计算，资源消耗巨大聚合标签集合，查询并发度高标签类型用户画像建模最重要的是对用户「打标签」，常见的3种分类：统计类标签基础标签类型，用户的性别、年龄、城市、星座、职业等等基础属性，可以做分布统计， 也包括如活跃时长、注册用户数、访问次数、消费金额等按照某些基础维度统计出的指标规则类标签
2021-12-09 21:30:17
2352
原创 用StarRocks玩转用户画像-1-概述
概述演进背景谈用户画像的发展，其实跟用户运营息息相关。用户运营由粗放式的泛运营渐渐发展到精细化运营，到今天有些企业甚至已经迈进单对单运营的阶段。用户运营1.0时代早期网站充当的角色和传统报纸类似，流量变现方式较为单一，主要依靠网页边栏广告进行盈利，运营重心偏重于商业诉求，对用户关注相对较少。由于当时技术的局限性，服务器后台记录的用户行为比较原始单一，用户画像体系不像今天那么丰富完善。精细运营2.0时代此阶段开始，流量产生的价值远高于上一阶段。流量的变现方式除了广告之外，电商、增值服务
2021-12-09 21:19:15
1986
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人