数据，开发和AI的专栏

主要记录一下怎么用 Golang 的 os/exec 去执行一个 cmd 的 pipeline，就是拿 cmdA 的输出作为 cmdB 的输入。

实时数据和离线数据都存储在 pinot 数据库中，离线数据需要通过脚本去生成对应的数据上传到数据库里面，但是其中 config 中有个 jobtype 让人有点迷惑，本文简单的做一个概念的整理

记录 TCP 里四次挥手之后的 Timewait 基本概念

这四篇文章已经基本让我们了解 Apache Pinot 内部的组件是什么，功能篇基本都写完。

不得不说，Pinot 在添加字段，迁移数据的时候体感很好，上层不会有很明显的感知，这块是我用起来比较舒服的点。简单总结一下上面三个问题的解决方法。如果需要减少或者变更字段，那么建议删表重建如果是表数据不多，由于其他业务影响则做资源隔离如果数据很大，则思考场景是做预聚合还是增加索引另外我不想在一篇文章写的太多，让人感觉到内容太多反而不了解他们是什么，尽量一个文章只讲一块逻辑。

Table，Tenant 就暂时不在这讲解了，放到下一章，因为设计到的内容还是比较多，有实时表，离线表，混合表，索引这块，基本是围绕 Table 来做的。

Apache Pinot 中 Controller，Server 和 Broker 概念和工作流程

本人以初赛Rank17，复赛Rank12的成绩结束了这次比赛。本文主要讲述复赛的关注点和优化点。不会扩展去讨论做过的尝试，有兴趣的小伙伴可以交流。赛题介绍比赛链接在这，对详细内容有兴趣的小伙伴可以去看看。大体就是在PMEM这个介质上面实现load和quantile函数，load函数是让参赛者在这个函数里面做加载数据去写自己想要的数据，quantile函数将列的所有值排序后，返回第 N * p 个值。如果 N * p 不为整数，则向上取整。样例：column = [1, 2, 3, 4,.

不是很全面，欢迎补充和提评论修正整理一下Redis的脑图，方便后续深挖背后的逻辑

消息队列总结以下内容参考敖丙大大的文章消息队列是什么？消息队列：消息队列就是一个使用队列来通信的组件。消息队列基本模型队列队列是FIFO，消息会统一发送到队列中，通过后面的服务来做一些消费。优势：简单，适合一些比较trick的场景，不需要做很多边界逻辑来兼容一些case，比如消费过多或者发布过多 导致一些管理的问题。发布/订阅类似producers和consumers，一方负责生产数据，一方负责消费.消息有序性消息的顺序

两数相加func sum(l1, l2 *ListNode) *ListNode { if li == nil && l2 == nil { return nil } dummy := new(ListNode) curr, value := dummy, 0 for l1 != nil || l2!= nil || value > 0 { curr.Next = new(ListNode)

二分查找func findMagicIndex(nums []int) int { lu := len(nums) if lu == 0 { return -1 } l, r := 0, lu - 1 return f(nums, l, r)}func f(nums[]int, l, r int) int { if l > r { return - 1 } mid := l + (r - l)/2

用于复习整理编辑：2020年08月02日在树结构里面判断是否有子节点type ListNode struct { Next *ListNode Val int}type TreeNode struct { Left *TreeNode Right *TreeNode Val int}func isSubPath(head *ListNode, root *TreeNode) bool { if head == nil { .

文章目录背景环境（阿里云）&配置操作步骤简要描述主节点需要操作的步骤从节点需要操作的步骤背景现有一需求是将线上postgres从单节点提升到主从结构，网上所说方案大多都是从无到有的配置一个主从的pg数据库，对于运行中的pg扩展没有资料，所以本人在测试环境测通了一种方法，在此记录一下，给有类似需求的大兄弟们提供一些方便，可以结合自己的业务情况进行参考。环境（阿里云）&配置操...

从指针类型和非指针类型引发的一个比较有意思的案例前景提要：案例介绍总结前景提要：在用golang开发的时候难免会碰到并发的情况，要控制数据的一致性的时候就得用到锁这个对象。我定义的一个结构体里面声明sync.Map或者sync.Mutex。我发现可以直接用这个结构体里面的sync对象去lock。这是一个比较有意思的现象，我们知道如果nil去调用就会引发panic。这可能就涉及到一些指针和非指针...

任务: 2014年，一种未知的疾病在全球肆虐，让人类束手无策。致病蛋白质很多，它们的结构序列都藏在df_protein.csv 数据集中（Sequence特征）。经过科学家的不懈努力，能与这些致病蛋白相结合的小分子（df_molecule.csv中的Fingerprint特征表示了其结构）也被发现，并附上了它们的理化属性。此外，在df_affinity.csv数据集中，包含了蛋...

实践过之后，该代码只能在小游戏之前版本成功跳转，最新版本支付宝不会跳转自动领红包，如果失败的话请看看自己的版本，我在ios测试成功;)整个操作流程非常简单，这次我们主要就构建一个免费的服务器，并且把代码部署上去。腾讯云搭建，安装tomcat和jdk流程腾讯云的申请 申请好了之后，我们可以进入控制台的公网，本人选择的是Ubuntu系统，大家可以按照自己的需要去申请一个

这次实现一个轮廓系数（wiki， baidu）。目的是为了评估聚类效果的好坏。我比较推荐大家观看wiki的说法，百度里面的有些说的不是很明白，比如百度百科中的这句话就很费劲 （计算 b(i) = min (i向量到所有非本身所在簇的点的平均距离)）下面是wiki的轮廓系数的说明，大体说一下我的理解: a(i)是中心点到自己cluster中的平均距离。b(i)是中心点到其他c

java实现Strategy修改决策树的内存大小

ROC曲线只能用来判断逻辑二元类的模型，如果线性方面的话得定阈值来判断。我自己写了个java小例子，考虑的不全。