m0_59012842
码龄4年
求更新 关注
提问 私信
  • 博客:8,622
    8,622
    总访问量
  • 暂无
    原创
  • 0
    粉丝
  • 0
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
加入CSDN时间: 2021-06-04
博客简介:

m0_59012842的博客

查看详细资料
个人成就
  • 获得0次点赞
  • 内容获得1次评论
  • 获得1次收藏
  • 博客总排名1,144,890名
创作历程
  • 23篇
    2021年

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

66人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

性能极致优化

我们在落地过程发现社区版本envoy延迟、资源消耗较大,在一些大扇出复杂场景下,流量劫持带来的延迟上涨接近5ms,cpu消耗占比20%以上,无法满足厂内在线业务高吞吐、低延迟场景。我们分析evnoy底层模型,本质原因是envoy 是一个单进程多线程的libevent线程模型,一个event-loop只能使用一个核,一个回调卡住就会卡住整个线程,容易产生高延时,导致吞吐长尾控制能力比较差。我们基于envoy扩展接口扩展envoy的网络模型&线程模型,引入brpc底层高性能的bthread协程模
转载
发布博客 2021.06.10 ·
684 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

落地service mesh实际过程中,面临以下几大挑战

低侵入:百度大大小小有上百个产品线,模块数量级达到万级别,实例数达到百万级别,如何让业务在不改代码前提下无缝迁移,低侵入接入是我们在设计方案考虑第一要素;· 高性能:百度核心产品线在线服务对延迟要求极高,比如推荐、搜索等核心产品线,延迟上涨几毫秒会直接影响用户的体验和公司收入,从业务角度不能接受接入mesh后带来的性能退化。因此我们在落地过程中,投入很大精力来优化mesh的延迟,降低接入mesh后的性能损耗;· 异构系统融合:首先我们需要解决厂内多语言框架互通问题,其次需要统一接口和协议,打通厂内多
转载
发布博客 2021.06.10 ·
200 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

service mesh解决什么问题?

为彻底解决当前业务服务治理的痛点和问题,我们引入了service mesh,基本思路解耦治理能力和框架,治理能力下沉到sidecar。内部联合多个部门通过合作共建方式建设通用的service mesh架构, 提供通用的基础稳定性能力和统一的流量控制接口。我们期望service mesh在厂内业务落地解决什么问题?总结为两点:1、基础稳定性能力的关键组件– 为微服务提供通用的基础故障容错能力、基础故障检测能力、统一的干预和控制接口;2、流量治理的核心系统– 实现各产品线整体的连接托管、全局流量..
转载
发布博客 2021.06.10 ·
186 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

高级架构能力无法多语言、多框架复用

如某产品线近2年发生数次雪崩case,底层依赖的php、golang等框架需要重复建设来定制动态熔断、动态超时等高级能力,而这些能力在其他rpc框架已支持;如常用架构降级、止损能力各个产品线重复建设,接口方案差异大,从运维层面,运维同学期望基础的架构止损能力在不同产品线之间能够通用化,接口标准化,降低运维成本;2.架构容错能力治理周期长,基础能力覆盖度低随着混沌工程全面落地,对架构能力有了更高要求。多数模块对单点异常,慢节点等异常缺乏基础容忍能力,推动每个模块独立修复,成本高,上线周期长。如
转载
发布博客 2021.06.10 ·
85 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Zetta的未来

第一个是让 Zetta 本身的性能提升,另外是功能上的提升。 第二个是知乎会拓展更多的应用,推广 Zetta 在知乎的场景,同时能够形成一些最佳实践。 第三个是要去拓展场景。我们现在可能专注于在线上做一些事情,后面会慢慢去找到适合大数据的场景的使用案例作为最佳实践。 最后,Zetta 希望在未来可以与 TiDB 进行整合,希望 Zetta 能够成为 TiDB 的生态伙伴。 ...
转载
发布博客 2021.06.10 ·
74 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

创作者中心

另外,创造者中心服务也应用了 Zetta。创作者中心是一个展示创作者数据的服务。原来创作者中心的核心数据全部都在 HBase 上,现在通过迁移,数据从原来HBase 里面 NoSQL 表,实现了从 HBase client切到 MySQL client 的改变。现在,查询的代码可以写的非常清楚,每次查询就是一个 SQL。而在 HBase 里面,这个表非常复杂。所以这样带来两个好处,首先是性能上有所提升,其次也代码更加清晰明了。切换后,服务的延迟降低了,同时也消除了延迟的抖动。...
转载
发布博客 2021.06.10 ·
2148 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

搜索高亮数据

知乎搜索框的搜索高亮数据的服务,它本来是使用一个名叫 Ignite 的分布式数据库,在使用 Zetta 代替后,延迟的时间大幅降低。同时,除了性能的提升外,运维的难度降低了,再也不需要有专门的运维人员去管理 Ignite 数据库了。...
转载
发布博客 2021.06.10 ·
71 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Zetta 在知乎的应用

Zetta 的投入使用后,给服务的使用方和提供方都带来了非常大的收益。使用方得到了非常大的性能提升。不仅服务的延迟下降了,响应的时间稳定了,并且实现了降低服务成本和物理成本的目标。而对于服务的提供方来说,不再需要去考虑其他的组件,只需要维护好 Zetta 和 TiKV 集群,极大降低了维护的成本,同时所需资源成本也大幅降低。除此之外,因为 TiKV 社区非常活跃,开发人员在遇到问题时可以第一时间进行反馈,并且社区会进行修复,一直持续地改进 TiKV。这样 Zetta 便与 TiDB 生态产生了良性的
转载
发布博客 2021.06.10 ·
128 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

架构架构图概览

下面是 Zetta 的架构图。第一个核心是 TableStore 的 server,它的底层存储是 TiKV,但是知乎团队重新设计了数据的结构,包括表映射 KV 的方法等等。重点说一下接入层,接入层本身是没有状态的,为了提升易用性,Zetta 和上层接入层是通过 grpc 进行通信的。但是对于用户来说,暴露 grpc 接口也不好,上层的数据对用户来说不够友好。易用性是通过 MySQL 或者 HBase 的方式将数据映射到 Zetta 上面去,同时也支持数据模型。为了做到低延迟,Zetta 实现了
转载
发布博客 2021.06.10 ·
194 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Zetta 架构解析

技术发展的最终目标都要服务于价值,成本驱动技术进步。事务的数据价值很高,大数据的数据价值密度相对较低,而 Serving 是基于中间的一个场景。Zetta 就是在这个价值密度条件下降低查询成本和使用成本的一个成本折中的产品。知乎的 Zetta 希望成为 TiDB 生态伙伴,因为 TiDB 的生态,不仅是开放的,而且是成熟的。同时,Zetta 也希望可以在 TiDB 的生态里面成为 Serving 场景下的伙伴。在此之前,我们也有一些权衡,如下图,黑色部分是我们已经做了,橙色是我们正要做的,蓝色是
转载
发布博客 2021.06.10 ·
343 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

在docker中快速使用各个版本的PostgreSQL数据库

PG安装方法很多,和MySQL类似,给用户提供很大的选择空间。如:RPM包安装(在线、离线)、源码编译安装、系统自带、二进制、NDB安装等。https://www.postgresql.org/https://yum.postgresql.org/rpmchart.phphttps://yum.postgresql.org/11/redhat/rhel-6-x86_64/repoview/postgresqldbserver11.group.htmlhttps://www.postgresq
转载
发布博客 2021.06.07 ·
599 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

程序员必须清楚的 10 个高级 SQL 概念!

1.常见表表达式(CTEs)如果您想要查询子查询,那就是CTEs施展身手的时候 - CTEs基本上创建了一个临时表。使用常用表表达式(CTEs)是模块化和分解代码的好方法,与您将文章分解为几个段落的方式相同。请在Where子句中使用子查询进行以下查询。SELECT name, salary FROM People WHERE NAME IN ( SELECT DISTINCT NAME FROM population WHERE country = "Canada" AND ci
转载
发布博客 2021.06.07 ·
85 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

混淆电路(Garbled Circuit)

混淆电路是一种密码学协议。图灵奖得主姚期智院士在1982提出著名的Yao's Millionaires' Problem,并给出了基于混淆电路的解决方案。该问题是Alex和Bob在无可信第三方,且不告知对方财富值的情况下比谁更富有。其原理为:所有可计算的函数问题都可转换为不同的电路,由加法电路、乘法电路、移位电路、选择电路等表示。而电路本质上由门(gate)组成,逻辑门包括与门、非门、或门、与非门等。混淆电路把这些门进行加密和打乱来掩盖信息。Alice用密钥加密门的真值表并打乱后输出给Bob。Bob
转载
发布博客 2021.06.07 ·
1289 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

联邦计算核心技术

为联合打通数据孤岛,解决参与方的数据安全可信隐私保护问题,广义的联邦计算**「Federated Computing」实现方案包括:以密码学为核心的MPC多方安全计算「Secure Multi-Party Computation」,以及硬件可信执行环境TEE「Trusted Execution Environment」**。...
转载
发布博客 2021.06.07 ·
1365 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

联邦计算在百度观星盘的实践

在数百万不同的智能手机上部署联邦学习,其本质是移动模型,而非移动数据。为避免用户隐私泄露,联邦学习不需要在云端存储用户数据。智能手机下载当前版本的模型,通过学习本地数据来改进模型,并把模型改进增量加密发送到云端,与其他用户的更新即时整合为共享模型,所有的训练数据仍然在各终端用户的设备中,用户数据不会在云端保存。在国际隐私数据条例(GDPR等)趋严的形势下,以Google为代表的ToC业务(如输入法)开辟了一个全新的思路。国内,联邦学习在产业界延伸至ToB领域,解决ToB AI的困局:隐私保护与数据孤岛问
转载
发布博客 2021.06.07 ·
69 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

五行代码实现千万类别分类网络,飞桨大规模分类库揭秘

    再一次感慨科技带来的便利的同时,你是否思考过这一神奇“魔法”背后的技术。自然界中花的种类多达45万种,存在的生物种类更是有近亿种之多。你是否想过,如何利用近年来火到爆棚的人工智能技术实现物种的分类和识别?这背后涉大规模图像分类技术。  图像分类技术日趋成熟,ResNet网络在ImageNet数据集上的top5准确率已超过96%。然而,如何高效地完成百万类别甚至是更大规模的分类任务,则是一个极具挑战性的课题。  先从多分类神经网络的实现角度分析,其最后一层通常是由全连接层和Softmax构
转载
发布博客 2021.06.04 ·
78 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

漫谈图形引擎中的材质系统

    图形引擎通常需要支持不同的渲染效果,一个优秀的材质系统通常要支持多Pass渲染管线和自定义Shader模板,由于渲染效果的复杂多样性会导致Shader数量大幅增加,这样会造成Shader文件冗余,因此材质系统要提供一套Shader复用的机制。同时,市面上各硬件厂商对图形API的支持程度不同,受限于硬件水平的差异,材质系统也要兼容中低高端硬件。综上所述,通用材质系统需要满足以下需求:  多Technique:材质中包含多个实现方案,这样在进行高中低端机适配或实现不同材质效果时,我们可以方便进行
转载
发布博客 2021.06.04 ·
87 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

联邦计算在百度观星盘的实践

众所周知,数据是AI技术的燃料,更多高质量的数据意味着可以训练出更好性能的业务模型。随着IT移动化步伐地迈进,互联网数据被割裂为一个个孤岛,制约AI发展的一个瓶颈是保护用户数据隐私和打破不同主体之间数据孤岛的问题。随着移动设备性能的强化,4G/5G的兴起普及,在移动终端上进行模型训练变得可行。2016年,Google团队发布了一篇论文:Communication-Efficient Learning of Deep Networks from Decentralized Data。自此,产业界联邦学习(「F
转载
发布博客 2021.06.04 ·
239 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

开源中间件技术支持

    寻开源技术专家做长期技术支持的合作,某银行系统使用大量开源中间件,目前使用运行正常,在运行过程中可能有需要做技术支持和维护,希望邀请精通各类开源中间件的技术专家做长期合作。希望合作专家精通其中某一个开源中间件即可,  合作模式:  1、签订年度服务合同,按月支付额定的基础服务费用,在服务年度内对所支撑的开源中间件进行远程技术支持;  2、在服务合同基础上按服务次数进行服务,每次或每天5000元-10000元(现场技术问题排查或培训)。  具体工作内容包括:  1、远程技术支持
转载
发布博客 2021.06.04 ·
190 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

自动网络搜索AutoDL之PaddlePaddle实现

本项目是百度大数据实验室(BDL)分层神经架构搜索项目(HINAS)自动发现的模型,利用深度增强学习完成设计。系统由两部分组成,第一部分是网络结构的编码器,第二部分是网络结构的评测器。下载安装命令## CPU版本安装命令pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle## GPU版本安装命令pip install -f https://paddlepaddle.org.cn/pip/oschina
转载
发布博客 2021.06.04 ·
286 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多