![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
前端
文章平均质量分 89
像素旅人
我是一名高中生,目前就读于普通高中。我热爱计算机科学领域,对编程和算法有着浓厚的兴趣。在我的课余时间里,我会积极地参加各种编程比赛和活动,以提升自己的技能和素质。
展开
-
ELT 已死,EtLT 才是现代数据处理架构的终点!
提到数据处理,经常有人把它简称为 “ETL”。但仔细说来,数据处理经历了 ETL、ELT、XX ETL(例如,Reverse ETL、Zero-ETL)到现在流行的 EtLT 架构几次更迭。目前大家使用大数据 Hadoop 时代,主要都是 ELT 方式,也就是加载到 Hadoop 里进行处理,但是实时数据仓库、数据湖的流行,这个 ELT 已经过时了,EtLT 才是实时数据加载到数据湖和实时数据仓库的标准架构。原创 2023-09-02 08:13:41 · 290 阅读 · 0 评论 -
BigCode 背后的大规模数据去重
但是,这个经验并不是放之四海而皆准的,如果你准备在自己的数据集上仿效我们的做法,我们建议你在此之前好好检查你的数据集及其特点,然后作出数据驱动的决策。在 BigScience 和 BigCode 项目中,在数据质量方面,我们面临的一个很大的问题是数据重复,这不仅包括训练集内的数据重复,还包括训练集中包含测试基准中的数据从而造成了基准污染 (benchmark contamination)。现在,亲爱的读者,我想与你分享我学到的知识,希望你能透过数据去重的镜头一瞥 BigCode 项目的幕后故事。原创 2023-08-29 15:06:01 · 148 阅读 · 0 评论 -
分布式任务调度框架之开山鼻祖:Quartz
XXL-JOB,方便对任务的管理控制。本来一开始就想讲述一下该框架,但是在学习了解过程中发现该框架式基于Quartz思想开发实现的,Quartz是一个很火的开源任务调度框架,完全由Java写成,可以说是 Java 定时任务领域的老大哥或者说参考标准,所以在这里先讲讲Quartz框架。原创 2023-08-29 15:02:48 · 118 阅读 · 0 评论 -
一条提示词等同于多少个数据点?
通过这项工作,我们研究了一种新的、基于自然语言提示的微调方法,其目的是通过单词预测显式地利用预训练模型的语言建模能力,而不是通过基于模型中间表征的线性分类器隐式地利用它。为了公平比较,我们把问题建模为用反向传播来微调基于提示的分类器语言模型,我们发现提示法通常优于使用标准微调线性分类头的方法。我们用数据点来估计这种优势,以衡量人类通过提示提供的附加信息,并发现编写提示始终抵得上数百个数据点。此外,即使没有言语器带来的信息量(即使用空言语器),这种优势仍然存在,并且这种方法对于提示的选择相当鲁棒。原创 2023-08-29 15:01:39 · 27 阅读 · 0 评论 -
使用if管理请求路径
在Web开发中,我们经常需要处理各种各样的请求路径。有时候,我们需要根据请求的路径来执行不同的操作。这时候,我们就可以使用if语句来管理这些请求路径。本文将详细介绍如何使用if语句来管理请求路径,并通过一个简单的案例来说明如何获取铁粉。原创 2023-08-26 20:48:20 · 46 阅读 · 0 评论 -
一条提示词等同于多少个数据点?
我们使用的具体方法是:对每个任务,我们通过从数据集中选取样本数不断增加的子集,然后在每个子集上使用这两种方法对 RoBERTa-large 进行微调,同时其他所有配置保持不变,最后对评估各自的微调模型的性能。在与 Alexader Rush 合作的 NAACL 2021 论文 中,我们研究了基于提示的微调,该方法可用于替代当前标准的有监督微调法,我们的实验表明提示通常比标准方法更有优势,因此该方法很有前途。因此,我们可以认为,即使没有信息丰富的言语器,提示法带来的归纳偏差也是有益的。原创 2023-08-17 21:43:55 · 63 阅读 · 0 评论 -
一文揭秘饿了么跨端技术的演进、实践与落地
本文会先带领大家一起简单回顾下跨端技术背景与演进历程与在这一波儿接着一波儿的跨端浪潮中的饿了么跨端现状,以及在这个背景下,相较于业界基于 React/Vue 研发习惯出发的各种跨端方案,饿了么为什么会选择走另外一条路,这个过程中我们的一些思考、遇到及解决的问题和取得的一些成果,希望能给大家带来一些跨端方面的新思路。原创 2023-08-13 15:03:47 · 171 阅读 · 0 评论 -
一文详解 DolphinDB SQL 标准化
大小写兼容:SQL 关键字支持全大写或全小写,字段名大小写不敏感,但数据库名 / 表名还是大小写敏感;SQL 语句换行解析:支持在 SQL 语句中任意位置的换行;支持谓词:支持的关键字有 (not) in, (not) like, (not ) between and, (not) exists, is (not) nulldistinct 支持多列:distinct 支持对多个字段一起去重,暂不支持与 group by, context by, pivot by 联用;原创 2023-08-09 19:56:22 · 1130 阅读 · 0 评论 -
与时俱进「风险系统保障质量之路」非同寻常
为了响应公司的号召,为了达成支持业务最大化,今年开始陆续把自建的平台关闭,关停了一些 ROI 低的工作,把相关的业务自动化测试用例,陆续有条不紊的迁移到更佳优秀的接口测试平台上,把自研开发平台的人力加到业务支撑,接口的自动化今年覆盖度从年初的 18% 到年中的 40% 左右,实现了主流程链路的覆盖,业务使用率达到 32% 左右,从行云里的数据来看,上半年无论是从测试交付的周期还是吞吐量都有较大的改善,真正的做到了自动化赋能业务,业务交付显著增长的结果;凌晨 3 点的身影就像一束光,夺目耀眼;原创 2023-08-01 07:43:45 · 82 阅读 · 0 评论 -
搜索语义模型的大规模量化实践
经过近几年的技术演进,语义模型在百度搜索场景中被广泛地应用,消耗了大量的 GPU 资源,模型压缩技术也随之得到大量研究和实践。通过兼顾推理性能、业务效果和迭代效率的优化目标,我们成功地将 INT8 量化技术大面积地应用到了搜索场景中,极大地提高了资源效能。此外,目前大模型正在被研究和应用,算力资源已经成为瓶颈,如何以更低的成本进行落地是一个非常热点的问题。基于对模型压缩技术的实践和积累,我们能够更好地助力大模型的探索和应用。原创 2023-07-18 14:04:23 · 156 阅读 · 0 评论