hshyds-CSDN博客

原创 CANN AICPU算子耗时分析及优化探索

1. 分析目的在实际开发CANN算子的过程中，常常出现算子功能正常，但性能远低于TensorFlow对标算子的情况。针对这个问题，本文以GreaterEqual作为测试算子，该算子计算逻辑较为简单(output = input1 >= input2)，旨在尽可能降低计算耗时，使得算子耗时尽可能以数据操作和算子调度作为主体。2. 测试代码与平台介绍本次测试平台为OpenLab提供的Ascend服务器，搭载Ascend910A，CANN Toolkit版本号为5.0.2alpha005。自

2021-09-21 11:52:50 262

原创如何优雅地记录操作日志？

操作日志广泛存在于各个B端和一些C端系统中，比如：客服可以根据工单的操作日志快速知道哪些人对这个工单做了哪些操作，进而快速地定位问题。操作日志和系统日志不一样，操作日志必须要做到简单易懂。所以如何让操作日志不和业务逻辑耦合，如何让操作日志的内容易于理解，让操作日志的接入更加简单？上面这些都是本文要回答的问题，主要围绕着如何“优雅”地记录操作日志展开描述。1. 操作日志的使用场景系统日志和操作日志的区别系统日志：系统日志主要是为开发排查问题提供依据，一般打印在日志文件中；系统日志的可读性要.

2021-09-21 11:51:42 292 1

原创如何借助 JuiceFS 为 AI 模型训练提速 7 倍

背景海量且优质的数据集是一个好的 AI 模型的基石之一，如何存储、管理这些数据集，以及在模型训练时提升 I/O 效率一直都是 AI 平台工程师和算法科学家特别关注的事情。不论是单机训练还是分布式训练，I/O 的性能都会显著影响整体 pipeline 的效率，甚至是最终的模型质量。我们也逐渐看到容器化成为 AI 训练的趋势，利用容器可以快速弹性伸缩的特点，结合公有云的资源池，能够最大化资源利用率，为企业大大节约成本。因此也就诞生了类似 Kubeflow 和 Volcano 这样的开源组件，帮助用户在

2021-09-21 11:50:12 142

原创浅谈百度阅读/文库NA端排版技术

导读：当前主流的排版引擎：Gecko、Blink、Trident、Webkit/Webcore等等，虽然能实现基本的图、文排版需求，但对于复杂的版面，特别是图书类文档的排版，无法实现或者实现起来非常困难，同时排版效果不够专业，为此百度文库/百度阅读开发了一套跨平台的排版引擎。本文期望通过排版引擎的相关技术介绍，向大家展示图书(内容)排版方面的一些实现技术、技巧。全文3680字，预计阅读时间12分钟。一、背景百度文库是百度旗下的在线互动式文档分享平台，在这里，用户上传、分享自己的文档，搜索、阅读、

2021-09-17 09:26:51 372

原创我说Java基础重要，你不信？来试试这几个问题

什么是字节码？Java采用字节码的好处是什么？那我在问问SparkSQL的字节码生成是怎么做的不过分吧？代码生成技术广泛应用于现代的数据库系统中。代码生成是将用户输入的表达式、查询、存储过程等现场编译成二进制代码再执行，相比解释执行的方式，运行效率要高很多。尤其是对于计算密集型查询、或频繁重复使用的计算过程，运用代码生成技术能达到数十倍的性能提升。Spark SQL在其catalyst模块的expressions中增加了codegen模块，对于SQL语句中的计算表达式，比如select num

2021-09-17 09:25:42 90

原创缓存最关心哪些指标？

　　往往开始做一个项目时，不会过多的考虑性能问题，以快速迭代功能为主。后续随着业务的快速发展，系统运行的性能越来越慢，此时，就需要对系统进行相应的优化，而效果最显著的就是给系统加上缓存。　　那么，问题来了，当你为系统加上缓存时，有没有考虑过使用缓存需要注意哪些事项呢？　　缓存命中率　　缓存命中率是从缓存中读取数据的次数与总读取次数的比率，命中率越高越好。缓存命中率=从缓存中读取次数 / (总读取次数 (从缓存中读取次数 + 从慢速设备上读取次数))。这是一个非常重要的监控指标，如果做缓存，则应通过监控

2021-09-17 09:24:56 88

原创如何实现 iOS 短视频跨页面的无痕续播？

在一切皆可视频化的今天，短视频内容作为移动端产品新的促活点，受到了越来越多的重视与投入。盒马在秒播、卡顿率、播放成功率等基础优化之外，在用户使用体验上引入了无痕续播能力，提升用户观看视频内容的延续性。本篇将分享盒马在 iOS 短视频方面的实践干货。跨页面续播是除秒播外另一个可以从体感上增加用户体验的能力。由于一些业务场景需要在不同页面上播放同一个视频内容的场景，而这些场景页面切换往往是连续的，这就要求短视频的播放也是连续。这样才能使得体验上会有连贯性，让用户在进入沉浸式页面时，能流畅的过度，且无感知

2021-09-16 11:02:00 204

原创 ES7 到 ES12 常用新语法

众所周知，ECMAScript 的迭代是很快的，想必作为前端开发人员对近几年 ES6 的新语法已经十分熟悉了，但是 ES7 到 ES12 中一些新增的 ECMAScript 提案，可能还是没有广泛地被开发者所熟知。本文带着大家一起来了解一下 2016 到 2021 年新增的一些 ECMAScript 语法以及提案，帮助大家更好地应用于自己的项目中。TC39 规范介绍：Stage 0（strawman），任何 TC39 的成员都可以提交。Stage 1（proposal），进入此阶段意味着这一提

2021-09-16 11:00:04 338

原创以 Serverless 的方式实现 Kubernetes 日志告警

当我们将容器的日志收集到消息服务器之后，我们该如何处理这些日志？部署一个专用的日志处理工作负载可能会耗费多余的成本，而当日志体量骤增、骤降时亦难以评估日志处理工作负载的待机数量。本文提供了一种基于 Serverless 的日志处理思路，可以在降低该任务链路成本的同时提高其灵活性。我们的大体设计是使用 Kafka 服务器作为日志的接收器，之后以输入 Kafka 服务器的日志作为事件，驱动 Serverless 工作负载对日志进行处理。据此的大致步骤为：搭建 Kafka 服务器作为 Kubernet

2021-09-09 13:37:48 150

原创 HTAP大潮下，TDSQL的探索与实践

随着信息技术的不断发展，同时驱动催生许多新的业务场景，数据库领域也不例外。在当前大数据、云计算等信息化技术推动下，数据库诞生许多类型。关于数据库的分类，第一种分类方式是，可以按照数据库的业务场景划分。一般我们在谈论数据库的时候，首先会问数据库是OLAP还是OLTP？OLAP，即在线分析型处理。OLAP的第一个特点是数据量比较大，一般会要求PB级或者更大的数据量，数据量大了以后，对存储的成本会比较敏感，对数据压缩也会有一定的要求。OLAP业务系统的并发量不会特别的高，但OLAP场景下查询一般都会比较复

2021-09-09 13:35:48 138

hshyds的博客