- 博客(113)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 微信新功能，屏蔽掉一些“友情群”
又到了IT人忙碌不堪的第四季度。单子少，不开心；单子多，又忙得不得了。不过，总是希望生意越来越好，年末红包也可以大一点！为了集中注意力，最近设置了不少不提示信息的微信群。没想到微信更新后，又多了个“折叠聊天”的功能，可以把一些平时完全不想看，只有偶尔想起来时瞄一眼的那种，归到折叠聊天里。太好了，可以屏蔽一大批友情群...
2021-10-12 17:14:46
133
原创 ClickHouse逻辑集群的玩法
[本文作者：擎创 禹鼎侯。我们有时候叫他“大禹”，是个文理双全的攻城狮]什么是逻辑集群ClickHouse作为一个基于OLAP场景的数据库，对于集群的支持自然也是理所当然的。我们通常所说的ClickHouse集群，指的是物理集群。即集群各节点之间被同一个zookeeper集群管理，数据的各种DDL操作都是针对整个集群有效的。与物理集群相对应的，还有一类集群，我们叫它逻辑集群。它是指在物理上没有一定的必然关系的物理集群，彼此又组成了一个逻辑集群。可以用下面这幅图形象地表达物理集群和逻辑集群的关系。
2021-08-04 15:25:27
1070
原创 一篇融资稿引起的狂空滥炸般的推销
每次公司一说可以发融资稿了，真是又兴奋又烦恼。有资金意味着公司不仅得到客户的认可，也得到投资者的认可；但一发公开稿件，随之而来的各种推销电话，接之不尽。这次融资的媒体稿，是6/22（昨天）早上8:00由36氪和创业邦联合首发。刚发出去没多久，我的公司400电话转接手机的线就被挤爆了。一上午接了不下30通的推销电话，全是媒体公司来联系给我们发文的。佩服这些辛苦的业务人员，但真怀疑这样做的结果。态度好一点的来电，告诉他相关事项请发邮件，就互道感谢，互道再见态度一般的来电，非要转接品牌宣传部门。一般的公
2021-06-23 15:27:41
137
原创 #老杨说运维#演讲稿：循序渐进推动智能运维建设
2021年6月初，擎创科技CEO杨辰在北京双态用户大会上做了“循序渐进推动智能运维建设”的演讲。这里可以下载演讲的pdf：2021古北 循序渐进推动运维数字化和智能化
2021-06-16 16:26:49
283
原创 最好以用户视角设计产品菜单和分级
前两天去北京参加了一个央企、金融行业科技部门为主要受众的会。好久没去北京出差了，借此机会也去了司马台长城和圆明园。现在越来越方便，预订门票都是用手机来订和支付。可这两个景区的...
2021-06-08 17:50:23
190
原创 孩子跟父母，讲的是真话吗？
朋友推荐了一个实习生。刚大一，海外名校。面了一下，想想大一还比较嫩，要不干一些练练手的活儿吧。HR跟这个实习生约好了上班时间。提前2天的时候，对方说，学校里还有点事，希望推迟一天再来。没问题。正式来之前一天，HR再次联系他，却失联了。微信不回、手机不接。当时就觉得大概他是不想上班，只是碍于有推荐关系不好明说。没想到，一会儿他爸爸很高兴地感谢推荐人，说儿子去**实习了。非常感谢。弄得我们几个知道情况的人暴汗。敢情这同学，对父母说去上班了、实际不知道逃避在哪里。或许他其实真的还没准备好体验社会，更
2021-05-18 17:20:16
101
原创 总是被当下的眼界局限的想象力，比如视频网站、比如5G...
上周末去听了场有关数字化转型的演讲，原以为会高深无比，没想到演讲者深入浅出妙趣横生、又举了很多例子，原本感觉很遥远的议题让人产生了不少小体悟。老师说，中国那么多成功的企业家，他最觉得与众不同的就是华为任正非。大部分企业家是看到市场、看到需求，成就一番事业。任正非的眼光则非常长远，比如对于芯片的投入，十多年的埋头苦干，就为了看准未来有机会。这么长远的战略眼光，一般企业家不太有。回想了一下自己经过的这一个个风云变化的市场，虽然自己经常能在很早的时候就看对一些品牌，看对一些模式，但看走眼的时候也不少，也是
2021-04-20 17:53:48
232
原创 应届生的简历怎么写
不是HR，原本是对简历也说不上什么观感，更关注实际工作经历。不过最近刚好自己部门在招人，看了不少简历；又刚好家里有亲戚孩子研究生毕业叫我们帮忙看看有什么机会。那么多简历放在一起，对应届生的这份就生出很多“不满足”来。后来也给了这孩子一些一家之言的建议，不知道他们会不会参考，或者嫌我多事。简历简历，无非言简意赅。把我最能打动HR或筛选者的一面，最快速直接地呈现出来。那么问题来了：企业招聘官希望看到应届生的哪些信息？听说大厂，尤其在招计算机相关技术人员时，二话不说先考试。考知识、考算法、考智商...
2021-04-15 13:13:50
575
2
原创 技术分享：Flink源码分析-Task执行
本文作者：擎创科技 研发总监a coder在介绍JobMaster之前，先插播一篇分析从Task被提交到TaskExecutor后到运行的过程。所有的分布式计算引擎都有一个序列化任务然后提交给各Worker节点去执行的过程，我们在开始开发Flink作业或者Spark作业时，也经常会遇到一些序列化相关的异常，所有这些都牵扯到几个问题：Flink如何来描述我们开发的数据处理逻辑(绝大部分是user Function)。 Flink如何来序列化以及反序列化我们开发的数据处理逻辑。 Flink最终如何执
2021-04-09 11:04:24
807
转载 Flink源码分析-JobDispatcher
（本文作者 擎创科技研发总监 a coder）背景介绍最近一直在阅读Flink基于Yarn的资源管理相关的代码，牵扯的流程比较长，主要包含以下几个环节:客户端环节：命令参数解析，定位到作业入口，生成JobGraph，翻译成启动对应的Yarn集群描述符，开始提交到Yarn。 AppMaster环节：根据不同的作业模式(Session/Job)，选择不同的启动入口，开始启动集群，这个阶段需要构造的重要组件包含：Dispatcher，Resource Manager，Job Master。具体每个组
2021-03-30 15:00:07
385
原创 #老杨说运维# 2021GOPS演讲实录（三）告警、指标、日志、智能运维场景
老杨的话#中翻中#：智能运维，是在数据中台的基础上，对告警、指标和日志数据进行分析处理，并通过智能运维场景来支持运营决策。20201127 GOPS上海_杨辰 03下一步，从数据到信息和知识。那信息和知识的层面，在擎创看来又有什么分别呢？首先我们来看信息。信息就是指对于运维数据的基本门类的粗加工或者说单元的加工能力。这里面又包括了4个门类。告警数据第一个门类是对运维数据中间最重要的一种能力，也就是告警数据。告警是我们运维人员之眼。也就是说运维想要看到问题，多半绝大多数是..
2021-02-24 17:14:11
352
转载 技术分享：java多类加载器类冲突案例分析
众所周知，jvm类加载机制采用双亲委派机制。但在有些框架中，常常为了提供某种形式的“隔离和沙盒”，自定义一种称为ChildFirst的了类加载器，简单的说就是破坏了双亲委派，由自定义子类加载器优先加载类，而不是先委派给父加载器。由于同一个类可以在不同的类加载器中分别加载，使用ChildFirst机制，可以让类加载器形成一个“沙盒”，在程序中同时运行两个相同但不同版本的类。但是，笔者遇到一个罕见的类加载冲突的案例，根因与ChildFirst机制有关。起因程序在flink平台上运行，将数据写入es，
2021-02-24 13:37:20
605
2
原创 产品自带传播属性的秘诀：让用户也参与创作~
这个春节，身边的几个有生活情调的女性朋友多了一个爱好：麻袋创作。并且乐此不疲，做完了就送人。做得还真漂亮呢。仔细一问，原来“麻袋”是指无印良品MUJI的新袋子，有A4和A6两个大小。延续MUJI一贯的风格，棉麻。擅长手工的妹纸可以在上面画画、也可以绣花。单个的价格18元，春节期间搞活动有过9.9。感觉买上一堆，可以画上大半年。天猫MUJI旗舰店的评价量近20000。虽然不同的产品，因为属性和用户群的不同千差万别，但不少领域的热门产品，都来自于用户不遗余力的宣传与推荐才有了后来的地..
2021-02-23 15:28:17
237
转载 技术分享：Kerberos协议详解
CSDN果然技术大拿如云。前阵子发了一个ClickHouse的干货，阅读量蹭蹭地本篇作者：擎创科技 大飞哥介绍最近工作中经常用到Kerberos认证，虽然一些软件已经实现了Kerberos认证，配置一下就能使用，但是我一直不是很清楚它的具体流程，下面通过分析它的协议(KerberosV5)进一步加深对Kerberos认证的了解。角色Kerberos是一种第三方认证协议，通过使用对称加密技术为客户端/服务器应用程序提供强身份验证。在希腊神话中Kerberos是守护地狱之门的一条三头神犬，而.
2021-02-07 11:47:06
1442
1
原创 百度统计那点事儿：从一个访客，分析出一大堆年龄层
在公司新开的博客里放了一段百度统计的代码。今天一看，吓了一跳：有关访客，是这样的 ——到截图时为止，一共两个访问者。其中一个新访客，贡献了179次PV。后来问到是同事访问时总也连不上拼命刷，造成PV很多。有关访客年龄层，是这样的 ——1个2个访客，能分析出分布于三个年龄层... 实际上，1个访客的时候也是3个年龄层，来不及截图了。当时看到这个年龄分布就觉得假。如果没有登录过百度账号的浏览，浏览器从哪里能分析出年龄呢？从这个极端例子看，就是假的数据嘛，加权公式也没写对，胡乱
2021-02-02 18:07:28
603
3
原创 招聘方眼里的猎聘和Boss直聘直观对比
最近为了招聘，公司HR给开通了猎聘和Boss直聘的账户。对比两个招聘渠道的使用，有着截然不同的效果。功能上，两者相差不多。简历上，相对来说猎聘的更高端一些，可能有“猎”的字眼，来看我们发布的职位的不少是海归。不过对我们纯本土的企业来说，英语好只是加分项，不是必备项。时效上，Boss直聘热门职位发布3天就要另外付费才能延期；猎聘则一直可以露出。（看起来，Boss直聘比较会挣钱）职位发布后，两边都收到一些简历和沟通请求。都有不太仔细看职位要求，就胡乱投简历的状况。这些可能是浪投习惯，略去不讲。
2021-01-27 13:55:21
21882
原创 #老杨说运维# 2021GOPS演讲实录（二）运维数据中台的三种必备能力
老杨的话#中翻中#：智能运维的数据中台，不具备以下三种能力就是耍流氓那么怎么样去提升认知能力？就从4个层面或者从应该说4个信息的提炼层面，首先第一点，我们要来看说我们的运维数据从哪里来？其实是从传统运维中来的，从传统运维的多样化的运维工具系统，还有一些设备对吧？应用中间来。这些多样化的数据其实是需要经过三类的处理。第一类处理是非常重要的，就是因为数据量大，所以对于大数据量的这种十九化的方式，是要先想明白的。有日志的持久化的方式，键值数据，指标数据有指标数据的持久化的方式，然后告警...
2021-01-21 12:02:47
475
原创 开源博客系统wordpress和typeecho的选择
要给公司网站装个博客系统，用于日常信息的更新，尤其是那种有时效性的信息的更新。以前一直知道WordPress功能强劲、模板众多，但一想到它的出名也就是功能众多（负面的表现当然是太重了），我只是要一个能隔三差五发发帖子的平台，好像杀鸡用牛刀般动静大。后来网上一搜看到一个支持markdown的eypeecho博客系统，到它几个网站看了看，简洁。于是跟同事说就弄这个吧。倒是花了一会儿就设置好了首页。等我再提要求要做些其他设置的时候，同事来讨饶了。说这不知道是国内哪家开发的，文档简单到不行，很多东西搞不定
2021-01-19 14:17:59
577
4
原创 #老杨说运维# 2021GOPS演讲实录（一）传统IT运维工作的四大挑战
视频地址：https://v.qq.com/x/page/y3221i0z30q.html （尝试插入，报错未成功，还得再试试）文字版 ——我们的行业客户其实已经分布在包括像金融服务领域的，银行、保险、券商等行业。其实在18年以后，特别19年也出现了多样化的一些行业，包括电信、政府、制造业、能源等等，其实现在都开始有探索智能运维的必要。为什么是这样？我想分4个方面来给大家解释。一方面我们来谈一谈为什么企业会需要智能运维？本质上还是因为企业身处在一场数字化转型的洪流之中，越来越多...
2021-01-15 16:24:17
663
原创 ClickHouse存储结构及索引详解
（公司同事新出炉的技术文，虽然除了字都认识外其他看不出个所以然，不妨碍我仰望大神们）本文作者：擎创 大飞哥ClickHouse存储结构及索引详解环境介绍本文基于ClickHouse 20.8.5.45版本编写，操作系统使用的是CentOS 7.5，主要介绍MergeTree表引擎的存储结构以及索引过程，希望通过本文能够让大家对ClickHouse的底层有个更详细的了解。创建表创建语句CREATETABLEtest_merge_tree ( `Id` UInt64, `Birt..
2021-01-15 11:10:08
8353
3
原创 “你是AI还是真人？”
昨天接了一个公司的咨询电话。我：您好！对方：您好！请问你是AI还是真人？我：。。。。。。 当然是真人，是人，人！我：请问你的公司名字是？对方：小马宝莉我：啊？就是那个很可爱的小马宝莉，有很多只的那个？对方：对对对跟对方介绍了一下智能运维产品后，对方特别惊讶：“你不像客服啊，一般客户说不了那么多” （我心里翻了个白眼。我们是toB的，一天也接不了几个咨询电话，还不得热心肠地多跟客户交流一些吗，嘿嘿）这个客户，真的是电话接到现在最有意思的了。公司CTO说，他听说过这家..
2021-01-07 17:14:58
15701
2
原创 年末的忙碌终于可以喘口气了
四季度真是to大B公司的繁忙季，2020年上半年几乎停摆，预算都集中在年末。对于市场部门来说，年末各种总结性的奖项、资料的整理、来年的计划、其他部门的临时需求... 一两个月来都忙叨叨的。好在忙了有效，业务部门反馈，现在的品牌认知度比2019年时上了一个台阶。跑到客户那边拜访，基本都知道“AIOps智能运维真正落地得好的，就是你们”。深受鼓舞。以前公司也有过其他负责市场的同事，招人时多看重TA之前做的什么工作。事情做了不少、钱也花了很多，just so so我一直觉得，好的市场跟销售一样，套路化的
2021-01-06 10:17:20
149
2
原创 智能运维AIOps建设手册下载（2020.11）
公司更新了2020.11的《智能运维建设手册》。从建设路径到实际产品架构均有讲述。下载地址：https://download.csdn.net/download/dazuibar/13582518#智能运维# #AIOps# #IT集中监控#
2020-12-10 11:50:02
346
原创 智能运维中指标分析的作用：跟看病时首先要验血一样
公司内部培训中的一个主题，企业为什么需要夏洛克指标解析中心、又为什么需要日志精析中心、告警辨析中心来进行智能运维建设呢？咨询顾问讲师给举了个特别形象的例子：IT运维工作，实际上跟医生看病的过程特别像。身体不健康了，就要把症状描述给医生听，再做一系列检查，最后由医生判断哪里是根因，再进行治疗。那么，在整个智能运维体系中，告警是触发排障工作的最重要来源，而指标的分析，就好比看病时的第一步“验血”。它可以快速判定问题出在哪些指标，从而为下一步做什么分析指明方向。但跟验血一样，指标也很有局限。我们没
2020-12-07 18:23:18
208
原创 #老杨说运维# 夏洛克AIOps的架构图（2020.11）
从2016年Gartner提出AIOps概念后，经过几年的发展，慢慢有了相对清晰的架构。实践证明，分这样三层，可以有效处理数据并在数据中台上随时叠加多个应用场景。最底层是统管全部数据的数据处理层，包括所有组件、设备、第三方监控等的数据，根据使用者的设置要求统一采集存储。数据治理层最主要的能力也有三个。一个是流式处理，只有这样的能力才可以达到秒级处理，为异常预警争分夺秒；第二个是AI智能化算法，可以对数据进行建模、对算法进行训练、达到机器学习的效果；第三个是运维大数据处理，具有大数据的处理能力。经过
2020-11-17 17:19:00
1089
原创 #老杨说运维# 传统IT监控的局限：固定阈值和无法预测未来
老杨说，很多企业安装了IT监控工具来协助日常运维工作，但现有的IT监控工具，大部分是设置固定阈值来监控设备是否正常运行。固定不动的阈值，在应对正常的数据波动时，也会触发告警（比如双十一带来的大流量和大资源占用，固定阈值就会大报特报）。智能运维AIOps系统，可以运用AI算法来设置动态阈值，从而让告警系统更有效地产生重要信息。同样，现有的监控工具，也只起到监测记录指标的工作，对于这些数据的前世今生、未来的走势，不会有任何建议。没有监控工具的时候，要装几个监控工具；等装了监控工具，更加发现.
2020-10-26 16:27:48
279
原创 听黄奇帆的演讲：5G的意义，不仅仅在于手机，更在于广阔的物联网
公司总部在上海的市北高新园区。今天区里举行了一个大数据论坛，规格非常高。来的嘉宾除了静安区区长外，黄奇帆老师也来了。跟其他演讲嘉宾不同，老先生没有PPT，演讲内容顺手拈来。因为是大数据论坛，内容离不开大数据治理。黄教授说，我们都知道美国一直在卡中国芯片制造的脖子。但实际上，比起芯片领域中国和发达国家的差距，在仪器仪表、检测设备上的差距更要大得多。而这类设备未来产生的大量的终端数据，都要依靠物联网汇总到一起进行处理。这些数据的量无疑是巨大的。而5G比4G高得多的传输速度，使得我们国家在这.
2020-10-22 17:30:17
336
原创 #老杨说运维# 装了不少监控工具，比如Zabbix，告警信息和监控指标集中管理了吗？
老杨说，现在很多的企业，对于IT运维工作，都安装了不少监控工具。比如普罗米修斯啦、Zabbix啦、甚至也有不少IOE的产品。但大多数企业首先会把告警的数据进行集中管理，这样便于及时发现IT系统可能存在的问题。但监控的各项指标数据，则依然存放于各个监控工具内，不到告警的阈值不会引起注意。而智能运维的建设，则需要把监控的指标数据也统一管理起来。这样既可以通过AI算法来尽早发现还没有触发告警的异常，也可以在排障时将多个系统的指标放在一起处理分析，大大缩小MTTR（平均排障时间）#老杨说运.
2020-10-20 16:56:14
146
原创 #老杨说运维# 把各种IT运维指标数据，以指标资源池方式统一处理
夏洛克AIOos的各项产品，越来越多将数据和智能应用场景区分开来。这样做的好处显而易见。对于IT运维指标数据，也建立了类似的处理流程。来自多个IT设备的数据（比如业务分析数据、APM的应用监控指标、自采的架构监控指标、日志数据、第三方软件...），不再逐一分析，而是先通过实时数据流处理平台，将数据规整后存储到“指标管理池”内，再在此技术上建立模型。在指标数据上面建立的场景应用可以是 “监控”“告警”“异常分析”“容量分析”“根因定位”，乃至生成统一的业务视图、仪表盘、大屏。#老杨.
2020-10-16 13:33:18
607
原创 华为工程师的GOPS运维笔记
9月底深圳开了场专门运维的技术会，很多运维相关的工程师去听去看。公司参与了智能运维AIOps场的演讲（好几个分会场都跟AIOps相关，就知道这个词现在在运维领域里有多热火了）。没想到还有参会的华为工程师在网上分享了他的心得，对擎创的架构印象最深。把运维数据中台化，再在上面搭建各种应用，未来也是个方向吧原文可自行百度...
2020-10-15 11:47:51
242
原创 百度营销和百度统计的“自相矛盾”
休息日，都是ToB网站访问量减少的日子。所以，我们设置了周末不投放百度营销搜索引擎广告。恰逢国庆，一开始没有记起来它算作工作日，没有关掉广告。到了10.1晚上一看，当天的预算不到晚上就消耗完了。总共被点击了64次，其中最贵一个关键词被点击25次。心中讶异，于是默默地打开了网站的统计代码（为了统一分析，网站嵌入了百度统计的代码）。百度统计说，10.1的网站访问量总共也不到60多次，来自百度关键词搜索的是11次，其中完全不包含那个最贵的被点击25次的词。百度营销和百度统计，自相矛盾的结.
2020-10-13 16:56:04
228
2
原创 复旦大学王鹏教授：智能运维算法场景探索：落地三要素
近期，复旦大学计算机科学技术学院教授王鹏在深圳某会的AIOps最佳实践及解决方案专场，讲述了他作为时序数据算法专家对智能运维算法场景的理解。“智能运维在国内发展已经是如火如荼，甚至出现过度炒作的现象（如宣称拥有完整的解决方案、通用的大而全的算法），但是在场景落地能力方面目前仍然十分欠缺。实际上，智能运维的落地，除了需要考虑算法的设计能力之外，还应该考虑对运维场景的理解能力，以及平台的工程化能力。 算法的设计能力。客户的需求是个性化的，我们需要设计针对性的算法。此外由于生产环境不同，客户的数据也
2020-09-29 17:15:13
1241
原创 被恶狠狠地放了个鸽子
最近半个月来，诸事不顺。有跟同事配合的原因，也有自己认为已成老油条而造成的大意。刚被淘宝上做视频的店放了鸽子。你急它没有那么急，出了意外也不告知，等到时间完全不够了，连闪转腾挪都不行了，再告诉你没办法做出来，退钱行不行。凡事主动权还是要掌握在自己手里。幸好还有其他预案，否则会被各种意外害死5555555...
2020-09-21 17:40:38
92
原创 闲聊：爆发式的线下会议参会热情
因为疫情，上半年所有的线下会议都停了，都改成了线上会议。总算到了夏天，疫情好转，虽然也有很多会议取消，但总算有些能开了！这周末，公司年年会参加的“双态IT联盟乌镇用户大会”也会继续在乌镇举行。一开始的时候，让业务人员去统计有多少客户愿意到乌镇开会。好嘛，大家都说，因为疫情期间各种规定，单位管得紧，没法出城。大家特别忐忑，想着我们还要开新产品发布呢，都邀不到客户怎么办。没想到最近两周内，甲方客户纷纷报名前往，远超预期。这是大家都憋坏了，要出门多点同行交流的意思么？...
2020-09-01 17:32:36
245
擎创科技智能运维手册（202011版）
2020-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人