李孟的博客

Spark GraphX 是一个分布式图处理框架，它是基于 Spark 平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。本文以多年的应用实战的角度去讲解把相关知识串联起来（集团谱系为例）。 GraphX 介绍 GraphX 实现分析 GraphX 实例 相关调优 集团成员实战分析 受益所有人实战分析 实际控制人实战分析 适合人群： 对数据处理感兴趣的技术人员 订阅地址：https://gitbook.cn/gitchat/activity/5fd2302ba78aef6

当今应用多是类微服务架构，每个服务解耦，只处理一种逻辑，服务之间的调用为了实现异步和解耦，通过提交事件后再由服务分发消费的形式完成。 这使得事件的分发消费算法需要处理大量不同种类的事件，这些事件在紧急程度、预计执行时间、是否可放弃等方面具有不同的要求，而且事件抵达的高峰与低谷之间的差距非常大，处于难以预测的状态，基于类似情况，业界有些通用的消费架构，在此文中分析下。 简介 发展 事件模型 原理 实现-事件服务模型 实现-分组消费架构 订阅：GitChat ...

Hive 权限在开发过程中常常用到，Hive 本身的权限用来防止用户做不合适的事情，粒度没有那么细（不到列级别、行级别），它是不完整的，本文中通过数据开放平台中用到权限方式，实战中演练，研究这种思想如何影响着数据应用权限的扩展！ 1.简介 2.元数据字典 3.用户、组和角色 4.Grant 和 Revoke 权限 5.Hive 和 Hadoop 权限关系 6.数据开放平台的应用 7.演化 8.不足...

编程时候碰到很多重复性工作，一类事情只干一次就好，不要再重复做，自动化抽象成工具，那样提高效率，不用重复搬砖，文中以一个实际场景中用到例子，贯穿下插件开发规范。 在本场 Chat 中，会讲到如下内容： 1.简介 2.原理 3.API 4.实例架构 5.准备工作 6.编码 7.部署 8.总结 gitchat地址：IDEA 插件开发实战 ...

用户增长是一套平台机制，包括市场前端的流量获客，后续的用户转化，用户留存和活跃等，制定完善的数据评估和优化体系，确保用户增长规模和用户增长成本达到一个良性的水平。 我曾经在一家公司做用户增长，这家公司做医疗方面，基于医院考培评价一体的产品，基于数据驱动思想，从最初的数据平台建设，数据架构规划，确定当时的商业模式，这直接影响的是对以后的一些指标，分析体系的影响。管理学大师、作家彼得·德鲁克...

随着大数据 2.0 时代悄然到来，大数据从简单的批处理扩展到了实时处理、流处理、交互式查询和机器学习应用。近年来涌现出诸多大数据应用组件，如 HBase、Hive、Kafka、Spark、Flink 等。开发者经常要用到不同的技术、框架、API、开发语言和 SDK 来应对复杂应用的开发，这大大增加了选择合适工具和框架的难度，开发者想要将所有的大数据组件熟练运用几乎是一项不可能完成的任务。 面对这...