- 博客(69)
- 收藏
- 关注
RSS订阅原创 GrowingIO Reactor速成指南
所以在本文档中我们主要针对的是一些学习过程容易让新人感到迷茫的知识点（map、flatMap、异步、并发），期望能让新人更好上手 Spring WebFlux。
2021-12-20 19:17:41
717
原创 GrowingIO Terraform 实践
为满足 GrowingIO 客户多样性的需求，在公有云设施上使用 Terraform 作资源管理。采取 Terrform 具有以下相关优势：
2021-12-09 20:00:03
508
原创 一文详解前端错误捕获和上报
背景众所周知，几乎没有一个开发者能够做到开发时100%没有Bug，那么一旦我们的产品出了问题，快速定位问题是迫切需要做的事。好在我们在Web场景中Js运行出现异常不会导致JS引擎崩溃，最多只会终止当前执行的任务。然后逐级上抛错误，类似冒泡事件，在遇到最近的一层catch时停止上抛，如果中间都没有错误处理的catch时，直至window对象结束。那么今天就与大家一起探讨一下我们在Web场景中的异常错误数据如何收集以及如何上报。错误类型想要获取到相对完整的异常错误数据，先要了解在Web中常见的异常错
2021-11-18 19:53:10
879
原创 GrowingIO Design 图标库：从原理到实现
随着前端技术的发展，网页中的图标（Icon）已经不再局限于 <img> 标签，还有很多实现方式，比如：Sprites（俗称雪碧图）、Icon Font（字体图标）、SVG 等等。而一个被工程师所熟知的前端框架 Bootstrap，用这些技术实现了它的图标库。本文先介绍 Bootstrap Icons 的各种实现方式，然后再 GrowingIO Design Icons 的原理与实现。Bootstrap Icons<img>通过 <img> 标签来展示图
2021-11-12 19:56:09
1155
原创 ClickHouse用户资源隔离在 GrowingIO 的实践
业务场景对 ClickHouse 做多租户，是一个非常必要的场景。如果不加限制，用户可能会过度消耗数据库服务的资源，影响其他用户使用。本文尝试在硬件级别的隔离之外，给大家展示另外一种相对便宜的方法。本文先描述 ClickHouse 提供哪些资源限制的机制，再描述 GrowingIO 的实践。由于用户资源使用限制是用户管理的一种，本文也会加入用户管理的内容。Hello World一般通过 systemd 托管 ClickHouse，使用工具渲染模板得出配置文件，由于我们的目的只是演示，所以简化
2021-11-05 20:12:06
810
原创 GrowingIO 数据安全实践
什么是数据安全根据《中华人民共和国数据安全法》中第三条，给出了数据安全的定义，是指通过采取必要措施，确保数据处于有效保护和合法利用的状态，以及具备保障持续安全状态的能力。为什么企业要做数据安全在互联网盛行的今天，不法分子可以通过网络攻击，网络欺骗等手段窃取用户的个人信息甚至企业的机密信息。而且在拿到部分用户信息后就可以唯一的锁定具体某一个人，因此数据的保密显得格外重要。GrowingIO 数据安全落地为了保证客户数据的安全性， GrowingIO 通过构建一个安全的软件运行时与数据静态存
2021-10-22 18:15:47
3307
原创 GrowingIO Design 组件库搭建之 CI/CD
前言在《GrowingIO SaaS 产品 CI/CD 实践》一文中，介绍了持续集成（Continuous Intergration，简称 CI）、持续交付（Continuous Delivery，简称 CD）和持续部署（Continuous Deployment，简称 CD）三个概念，以及在 GrowingIO SaaS 产品中的实践。 文中还强调一个典型的 CI/CD 流程建设至少需要具备以下功能的工具： 代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库
2021-10-15 18:09:17
246
原创 Flutter 无埋点SDK实现
前言先看下各个平台自动化埋点支持 平台 特点 自动化埋点方案 Android Java支持编译器静态代理/运行期动态代理 有成熟方案和产品，例如GrowingIO、神策、友盟 iOS OC提供了强大的运行时和动态性 有成熟方案和产品，例如GrowingIO、神策、友盟 Flutter
2021-10-09 20:06:59
680
原创 Flink 实时 metrics
目前我们的 flink 任务跑在 yarn 集群上，在面对以下问题时 常驻实时 job 是否在稳定运行？ 实时数据的处理能力如何？消费过慢？是否需要申请更多资源提升消费能力？ 实时数据质量可靠？是否有丢数据的风险？ 实时任务现有的资源是否足够支撑现有的数据量？资源是否闲置浪费？虽然 flink web ui 提供了一些监控信息，但是对开发还是不够友好，所以我们利用 flink metrics + prometheus + grafana 搭建了一套实时监控看板，有利于收集 flink 任务的实时状
2021-09-23 20:02:10
624
原创 Growing 账号认证实践
背景GrowingIO 作为专业的数据运营解决方案提供商，我们的客户来自不同的行业，但他们都有相同的安全需求。在众多的客户中，许多客户都有自己的账号认证系统。因此我们需要能通过简单的配置接入客户的账号认证系统。目前 GrowingIO 一共支持了 CAS, OAuth2, LDAP 三种不同的接入协议。本文将详细介绍我们是如何支持这三个接入方式的。不同接入协议的认证流程OAuth2一般来说，使用 OAuth2 来实现认证都是使用的授权码模式，我们这里也不例外，下面是 OAuth2 授权码模式
2021-09-18 14:31:01
312
原创 Frida笔记 - Android 篇 (一)
前言相信不少小伙伴对Xposed、Cydia Substrate、Frida等hook工具都有所了解, 并且用在了自己的工作中, 本文主要分享Frida的环境配置以及基本使用, 以及相关功能在日常开发调试带来的帮助配置Frida的环境Frida的环境安装可以参考官方文档, 或者参考网上分享的实践, 使用较为稳定的特定版本# 通过pip3安装Frida的CLI工具pip3 install frida-tools# 安装的frida版本frida --version# 本机目前使用的1
2021-09-09 19:07:34
796
原创 数据结构和算法在流程画布中的实际应用
图灵奖的获得者，Pascal 之父——Niklaus Wirth ，有个经典说法：“算法+数据结构=程序”（Algorithm+Data Structures=Programs）。我们以这个说法为思路，看在流程画布这个场景中，如何应用数据结构和算法来解决实际的业务需求。树和图在数据结构中，对树的描述为：树是n（n≥0）个结点的有限集，它或为空树（n=0）；或为非空树，对于非空树T： 有且仅有一个称之为根的结点； 除根结点以外的其余结点可分为m（m>0）个互不相交的有限集T1,
2021-09-02 18:44:10
448
原创 GrowingIO Design 组件库搭建之单元测试
前言GrowingIO Design 是用 React 编写的组件库，本质上就是 React 组件，你可以用像测试其他 JavaScript 代码类似的方式测试 React 组件。现在有许多种测试 React 组件的方法。大体上可以被分为两类： 渲染组件树：在一个简化的测试环境中渲染组件树并对它们的输出做断言检查。 运行完整应用：在一个真实的浏览器环境中运行整个应用。 我们对于第一类称之为单元测试，本文主要专注于这种情况的测试策略；第二类称为端到端（end-to-end）测试，完整的
2021-08-19 20:01:06
130
原创 iOS App注入SDK调试
前言本文仅作为技术分享，对于一些iOS SDK开发以及维护所遇到的场景问题进行处理，例如： 客户想提前知晓线上App集成我们SDK后，是否会有SDK兼容性问题，例如Crash，符号冲突 客户线上App集成了我们SDK，出现了问题，如何进行排查 我们想测试SDK在某一款App中是否功能正常 对于这些问题，一般来说我们无法拿到App的源码，想要处理这些场景，就需要拿到客户App文件并注入代码，接下来我们从 iOS越狱、frida砸壳、MonkeyDev来讲述如何实现。iOS
2021-08-19 15:11:42
935
原创 Jira Automation 探索与实践
2020 年上半年，Atlassian 在 Jira Cloud 上推出了一个非常不错的新功能 Jira Automation，将强大的无代码自动化功能带入 Jira Cloud 原生功能中，不用安装额外的插件，就可以非常方便的实现如下能力： 协助团队在不用编码的情况下，将很多重复且乏味的工作自动化，帮助团队专注在价值更高的工作上； 在多团队、多工具的情况下，流程会因为每个人对于执行细则和工具使用的理解不一样而变得混乱。自动化可以帮助团队标准化的梳理和组织各种活动，而 Jira Automa
2021-08-18 20:58:56
845
原创 hbase运维故障案例分析
在实际运维HBase集群时，各位小伙伴总会遇到RegionServer异常宕机、业务写入延迟增大甚至无法写入等类似问题。本章结合笔者的经验、列举真实生产线环境常见的几个问题，并介绍这些地问题的基本排查思路。同时，重点对HBase系统中的日志进行梳理介绍，最后对如何通过监控、日志等工具进行问题排查进行总结，形成问题排查套路，方便读者进行实践。regionserver宕机案例一: 长时间GC导致Regionserver宕机长时间FullGC是RegionServer宕机最常见的原因.分析这类问题,可
2021-07-22 18:38:37
746
原创 Web UI自动化的设计和实践
背景UI 自动化测试，即通过自动化的手段来控制机器模拟人进行手工操作。随着 GrowingIO 业务的不断发展，新需求的不断增加，回归测试的任务越来越重，现有测试的资源已经不足以应对繁重的回归测试任务，亟需 UI 自动化来代替人手工进行回归测试，解放回归测试的人力去做更精准的测试。因此，引出下文在 GrowingIO 的Web UI 自动化的建设，本文主要就以下两个方面展开介绍：1.框架搭建2.集成质量平台框架搭建PageObject众所周知，UI 自动化测试，是位于测试金字塔塔
2021-07-16 16:56:09
540
5
原创 Clickhouse Projection 特性探索
年初的clickhouse meetup上快手团队分享了clickhouse projection在其公司内部的实践。分享包括了projection原理、使用、性能测试等内容。从性能测试的数据上看，projeciton对查询性能有着百倍级别的提升，意味着之前分钟级的查询响应延迟，将会提升到秒级响应。秒级的查询响应延迟，将会提升到毫秒级的响应，对于使用者将会有更加完美的体验。看完了快手同学的clickhouse projeciton的分享，在我脑中也产生了几个问题？ 没有projection功能之前
2021-07-08 19:10:47
676
1
原创 GrowingIO Design 组件库搭建之Select组件
前言Select 是最频繁使用的UI组件之一，它可以运用在很多场景。大多数情况下，原生HTML的<Select>标签无法满足业务的功能过需求，以及原生HTML的<Select>标签在各个浏览器版本里样式表现不太一样。在这样的情况下，多数人都会选择实现一个符合UI要求以及产品功能需求的Select组件，或者选择使用一些开源组件库提供的 Select 组件。本文主要梳理了 gio-design 中的Select组件在实现过程中遇到的一些阻碍及需要注意的地方，希望能对大家在设计和实现s
2021-07-05 17:21:18
489
原创 使用 Scala 宏解决对象转换
背景在 GrowingIO 服务端的开发中，我们使用 gRPC 进行微服务之间的数据通信，每个提供服务的项目，都要定义一套自己的 Protobuf 消息格式，然后利用 protoc 去生成对应语言的适配代码。在我们维护的项目中，主要使用 Scala 语言来实现各个服务，每个服务都会定义一套自己的领域模型（一般是一些 case class），而 protoc 默认生成的 JVM 平台的代码是 Java 语言的，对应的 Protobuf 消息格式与 Scala 项目中定义的领域模型会存在一些对应关系，并且他们
2021-06-28 10:55:32
206
原创 Taro3无埋点的探索与实践
引言对于Taro框架，相信大多数小程序开发者都是有一定了解的。借助Taro框架，开发者们可以使用React进行小程序的开发，并实现一套代码就能够适配到各端小程序。这种促使开发成本降低的能力使得Taro被各大小程序开发者所使用。使用Taro打包出来的小程序和原生相比是有一定区别的，GrowingIO小程序的原生SDK还不足以直接在Taro中使用，需要针对其框架的特别进行适配。这点在Taro2时期已经是实现完美适配的，但在Taro3之后，由于Taro团队对其整体架构的调整，使得之前的方式已经无法实现准...
2021-06-17 19:36:17
403
2
原创 GrowingIO 增长平台产研项目管理实践
前言项目是公司和组织的战略目标落地的一种非常重要的组织方式，项目管理的设计会对产品的生产和过程产出产生重要的影响。Jira 是一款功能强大、可灵活配置的项目管理工具，能够满足不同规模公司的项目管理需求。GrowingIO 从 2018 年引入 Jira Cloud 产品及服务，主要用于产研团队的项目管理，本文尝试从工作、人员、时间这几个方面介绍 GrowingIO 增长平台产研部门在项目管理设计上的选择，以及使用 Jira 这款项目管理工具进行的一些实践。项目管理项目的分类..
2021-06-11 10:42:16
226
原创 PostgreSQL 的审计和权限控制系统
背景介绍GrowingIO 作为一家大数据公司，核心资产虽然在大数据平台上，但关系型数据库仍扮演着不可或缺的角色。它担负着存储产品逻辑，配置信息等重要数据信息。GrowingIO 目前的数据库实例较多，例如按环境区分为开发环境，测试环境，生产环境等不同环境。按需求来说，又存在运维人员需要直接修改线上脏数据，开发人员本地访问开发环境的实例进行联调等情况。而随着公司员工不断发展，人员的流动性会加剧，数据库权限控制会越来越复杂。这时一个易用的数据库管理工具会减少相当大的工作量。由于 GrowingIO
2021-06-10 09:14:50
654
1
原创 GrowingIO Design 组件库搭建之组件开发
前言在《GrowingIO Design 组件库搭建之开发工具》一文中介绍了搭建组件库的原因和使用的开发工具，这篇文章就来介绍组件库的主角：组件。先从组件的定义说起。组件的定义组件是标准化的、可互换的 UI 模块。它们封装了 UI 部分的外观和功能。想想乐高积木。乐高积木可用于建造从城堡到宇宙飞船的所有东西，组件可以拆开并用于创建新功能。组件通过将状态与应用程序业务逻辑隔离来实现互换性。这样，你可以将复杂的屏幕分解成简单的组件。每个组件都有定义明确的 API 和可被 Mock 的系列状态。这允许组件
2021-06-03 11:59:31
155
原创 GrowingIO 前端团队对于 GraphQL 的实践总结
前言社区里已有很多有关 GraphQL 入门和原理的文章，GraphQL 和 Apollo Client 的官方网站也有较为详细的介绍。相对于 RESTful API（简称 REST)，社区也从各个方面分析了 GraphQL 的优劣利弊。本文主要是从前端角度出发，在如今前后端开发分离盛行的前提下，分享一些我们如何利用社区中热门的工具提高开发效率和工程质量的经验，希望对已经决心入坑 GraphQL 的朋友们有一些帮助。GraphQL Playground第一次接触 GraphQL 的时候一定会从官方文档
2021-06-02 11:18:44
323
原创 BitMap 转置算法：不一样的 count 求解方式
背景通常在移动端 APP 的数据统计分析中，用户在未登录的情况使用 APP 都会被赋予一个基于设备标识 ( 例如 IDFA , AndroidID ) 的访问用户 ID ，在登录后会被 APP 端根据账号信息赋予一个全局唯一的登录用户 ID ，基于访问用户 ID 或登录用户 ID , 数据平台可以轻松的统计出该用户在 APP 端的访问情况。但是移动端的灵活导致了同一用户可以在多个设备上登录同一 APP , 也可以在同一设备上登录不同的账号，这些行为导致在做移动端数据分析时，会遇到下列几个问题：同一个
2021-05-19 18:32:10
278
原创 如何让研发新同学快速 Onboarding ?
如何让研发新同学快速 Onboarding ?这个问题牵涉了很多角色，除了研发新同学和 Mentor，还有团队 Leader、架构师，HR 也可能要关注这个问题，尤其是在公司技术转型的过程中。在我司服务端入职培训过程中，新同学要面临两项挑战，一是语言关，二是项目关。为了降低新同学培训成本，让新同学更快、更好地助力团队提升交付能力，有必要对新同学进行入职培训，让 Mentor 指导新同学有条不紊地进入工作状态。本文提出了一个研发新同学和 Mentor 的协作框架， 旨在帮助新同学快速 Onboarding
2021-05-17 12:24:20
175
原创 针对 Restful 协议下的接口测试平台设计
应用背景目前市场上很多 Web 应用转向了 RESTful 的架构，往往暴露给用户的往往就是一组 REST API，这样的好处就是，研发人员可以根据需要调用不同的 API，整合出自己的应用出来。这样每组 API 就会形成一个信息中心，各个信息中心结合在一起，就形成了一个互联互通的信息架构。所以针对此种轻量级的流行架构，接口服务的场景测试必不可少，目前主流的 postman 或者 jmeter 之类的工具虽然也可以胜任，但是对于整体设计来说总是欠缺一些什么。像阿里巴巴之类的大厂一直在推举自己自定义去做一
2021-05-17 11:01:45
163
原创 GrowingIO SaaS 产品 CI/CD 实践 (一)
作者：郝阔君GrowingIO QA Leader，曾任职于中国惠普、奇虎 360。带领 QA 团队负责 GrowingIO全产品线质量保证工作，目前专注于 DevOps 实践，帮助团队提升质量和效率。本文主要描述 GrowingIO 过去在 SaaS 产品线上 CI/CD 的一些实践。由于历史原因公司使用的部分工具链比较小众，当前的 CI/CD 的流程还有很大的改进空间 ，但是一些实践经验还是有一定借鉴意义的。
2021-02-04 10:15:59
394
原创 GrowingIO Design 组件库搭建之开发工具
前言在 20 世纪 60 年代，计算机技术开始超过软件编程的速度。计算机变得更快、更便宜，但是软件开发仍然缓慢，难以维护，并且容易出错。这种差距，以及如何应对，被称为“软件危机”。1968 年，在北约软件工程会议上，Douglas McIlroy 提出了基于组件的开发作为解决这一困境的可能方法。基于组件的开发提供了一种通过使代码可重用来加快编程潜力的方法，从而使其更高效且更易于扩展。这降低了工作量，提高了软件开发的速度，使软件能够更好地利用现代计算机的力量。现在，50 年后，我们正经历着类似的挑战，但.
2021-01-13 15:11:04
331
原创 Bitmap续篇-基于Bitmap瞅瞅不一样的Percentile
作者：杨承波GrowingIO 大数据工程师，主要负责 SaaS 分析和广告模块的技术设计与开发，目前专注于 GrowingIO 物化视图引擎的建设。本篇文章主要讲解基于 GrowingIO 内部数据存储结构 Bitmap 实现的 Percentile，并简单介绍一下 Hive Percentile，Spark Percentile，Bitmap Percentile 之间的差异。讲解具体函数算法实现之前，先搞清楚下面两个问题：Percentile 函数【以下简称：分位数】，在实际应用场景..
2020-12-30 15:45:18
288
原创 iOS AOP 方案的对比与思考
AOP 思想AOP：Aspect Oriented Programming，译为面向切面编程，是可以通过预编译的方式和运行期动态实现，在不修改源代码的情况下，给程序动态统一添加功能的技术。面向对象编程（OOP）适合定义从上到下的关系，但不适用于从左到右，计算机中任何一门新技术或者新概念的出现都是为了解决一个特定的问题的，我们看下AOP解决了什么样的问题。例如一个电商系统，有很多业务模块的功能，使用OOP来实现核心业务是合理的，我们需要实现一个日志系统，和模块功能不同，日志系统不属于业务代码。如果新建一
2020-11-23 18:23:45
236
1
原创 GrowingIO 响应式编程探索和实践
作者：林生生，GrowingIO 运营产品线研发经理，主要负责 GrowingIO 智能运营产品线研发管理工作。背景GrowingIO 在 2018 年初推出了基于底层数据能力的智能运营平台，结合精准的用户分群，数据采集以及多种运营方式，帮助企业客户用数据驱动用户运营，随时验证假设，助力产品增长。产品有以下特点：支持多种触达用户的渠道 ：站内：弹窗、资源位，站外：Push、短信、Webhook。 多平台支持，弹窗支持：App、Web、H5和小程序。 轻松建立数据运营的闭环。下图是运营平台站外.
2020-11-06 17:06:34
338
原创 GrowingIO 智能运营产品微前端实践
作者：俞展弘 GrowingIO 前端开发工程师，主要负责智能运营团队前端开发、gio-design 开发引言GrowingIO 智能运营产品，是 GrowingIO 为客户运营团队提供的一站式、精细化运营管理与数据分析平台。近期，GrowingIO 智能运营产品团队需要将站内触点等运营功能从 SaaS 平台移植到增长平台上，以支持私有化部署（On-Premise，简称 OP）方案在客户环境中的进行，以此为背景，GrowingIO 运营前端团队在微前端的实践上走了自己小小的一步。1. 什么是微前.
2020-09-17 11:54:12
329
原创 GrowingIO AWS 成本优化之路
作者：邢建辉 GrowingIO 运维开发工程师，主要负责平台化，自动化方向的设计与开发。背景营收和成本是任何一家企业都需要关注的问题。当一家互联网公司发展到一定规模时，服务器成本会变成一项重大的开支，优化服务器成本也将变成一件提上日程的任务。GrowingIO 主要服务运行在 AWS 上，下面主要针对 GrowingIO 在 AWS 上的一些优化。成本分析1. 概览分析在开始成本优化之前，需要先做规划，通过规划来确定实施方案，而不是拍脑袋直接去做，这样可能最后就是花了很大力气，成本降低的效.
2020-08-28 13:27:54
620
原创 GrowingIO 数据采集 iOS SDK 测试实践
作者：吕雨强GrowingIO iOS 测试工程师，主要负责iOS SDK 功能测试、自动化测试 。GrowingIO 是基于用户行为数据的增长平台，精准采集用户行为数据是公司业务的基石，只有及时、准确、可靠的采集到数据，才能支撑上层的数据分析，用户画像，运营等业务，所以公司一直非常注重数据采集 SDK(Software Development Kit) 的质量保证工作。为了满足客户的各种业务与技术的需求，GrowingIO 提供了 Web、Android、 iOS、Hybrid、各种小程序（微信、支
2020-08-21 10:12:29
1390
原创 GrowingIO 张溪梦：数据智能——业务增长新引擎
来源/ 2020 非凡大赏作者/ GrowingIO 创始人兼 CEO 张溪梦各位嘉宾好，我是张溪梦。首先非常感谢非凡资本组织今天这场活动！去年很荣幸参与了第一届非凡大赏，今天听完上半场以后，我有一个非常深刻的感触——今年 MarTech 的发展又迈上了一个新台阶，中国本土的数据、智能、AI 发展大有超过美国的趋势。而 GrowingIO 这家公司，正是致力于帮助中国企业提高增长效率，用数据、智能、AI 驱动业务增长。今天我分享的内容，是如何通过数据智能来构建企业新的增长引擎。过去，Grow.
2020-08-17 13:23:42
314
原创 京东安联财险 x GrowingIO： 提升互联网保险数据运营能力，业绩增长 104%
2019 年全国保费收入 4 万亿元，而互联网端仅占 5%，增长空间十分巨大；同时，疫情加速了用户的线上消费习惯，保险线上化转型的风口已经到来。京东安联财险作为一家数据化科技保险公司，仅在今年 618 期间保费收入就超 3 亿，强大的线上渠道运营能力可见一斑。早在 2019 年，京东安联财险就选择携手 GrowingIO ，共同落地业务健康度监测、渠道获客优化以及用户体验升级，全面增强保险企业数据运营能力、实现数据驱动业务增长。1，京东安联财险保持高增长的关键因素京东安联财险保持高速增长的秘诀，在于
2020-08-15 21:45:18
2022
原创 如何设计企业微信+直播+裂变矩阵？
来源 / GrowingIO 2020 线上增长大会作者 / 零一裂变 CEO 鉴锋大家好，我是零一裂变 CEO 鉴锋，今天跟大家分享如何设计“企业微信+小程序+直播”裂变矩阵。经历了 18 年的裂变增长、19 年的私域流量、再到今年的直播带货，我们会发现玩法总是在不断变化，因为用户不可能一直被同样的玩法吸引。但我们做增长的，不能因为什么火就做什么，而是要去思考不同玩法背后什么是不变的。比如今年很火的直播带货，背后的核心目的是什么？能不能把我们的优势带进新战场？能不能通过直播实现裂变？……以.
2020-08-05 16:54:03
1132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人