- 博客(41)
- 收藏
- 关注
RSS订阅原创 ELT 已死，EtLT 才是现代数据处理架构的终点！
提到数据处理，经常有人把它简称为 “ETL”。但仔细说来，数据处理经历了 ETL、ELT、XX ETL（例如，Reverse ETL、Zero-ETL）到现在流行的 EtLT 架构几次更迭。目前大家使用大数据 Hadoop 时代，主要都是 ELT 方式，也就是加载到 Hadoop 里进行处理，但是实时数据仓库、数据湖的流行，这个 ELT 已经过时了，EtLT 才是实时数据加载到数据湖和实时数据仓库的标准架构。
2023-09-02 08:13:41
243
原创 Hyperledger Fabric 通道配置文件和容器环境变量详解
Fabric 网络启动的过程中需要进行大量配置，新学时对各个配置的作用一无所知，这导致我曾在网络出问题时先对配置文件的内容进行排列组合后再祈祷它能在某个时刻顺利运行，因此掌握 fabric 各个配置项的含义至关重要。本文对 configtxgen 的配置文件 configtx.yaml 进行了详细的分析解释，对 peer 、 orderer 、 fabric-ca 容器的常用环境变量也给除了详细说明，其中某些配置由于比较罕见因此并没有展开介绍，直接使用默认值即可，会在将来用上时再更新。
2023-08-29 15:10:19
374
原创 中心化决议管理 —— 云端分析
CocoaPods 云端分析能力是字节跳动的终端技术团队 (Client Infrastructure) 下 Developer Tools 部门提供的一系列云化基础设施之一， Developer Tools 团队致力于建设下一代移动端云化基础设施，团队通过云 IDE 技术、分布式构建、编译链接等技术，优化公司各业务的研发和交付过程中的质量、成本、安全、效率和体验。
2023-08-29 15:09:13
132
原创 BigCode 背后的大规模数据去重
但是，这个经验并不是放之四海而皆准的，如果你准备在自己的数据集上仿效我们的做法，我们建议你在此之前好好检查你的数据集及其特点，然后作出数据驱动的决策。在 BigScience 和 BigCode 项目中，在数据质量方面，我们面临的一个很大的问题是数据重复，这不仅包括训练集内的数据重复，还包括训练集中包含测试基准中的数据从而造成了基准污染 (benchmark contamination)。现在，亲爱的读者，我想与你分享我学到的知识，希望你能透过数据去重的镜头一瞥 BigCode 项目的幕后故事。
2023-08-29 15:06:01
119
原创 得物词分发平台技术架构建设与演进
在文章开始前先介绍下导购，导购通常是指帮助消费者在购物过程中做出最佳决策的人或系统。在电商网站中，导购可以引导用户关注热卖商品或促销活动等，帮助用户更好地进行购物。导购的目的是为了提高用户的购物体验，促进销售额的增长。接着开始正文，词分发也属于导购的一部分，他主要提供词推荐相关的功能，比如下拉词、底纹词、榜单、锦囊词、风向标等。而词分发平台则致力于构建一个通用的词推荐平台，避免重复开发和维护成本，提高运营效率和业务灵活性，从而支持公司各个域的业务发展和用户需求。
2023-08-29 15:04:46
1492
原创 分布式任务调度框架之开山鼻祖：Quartz
XXL-JOB，方便对任务的管理控制。本来一开始就想讲述一下该框架，但是在学习了解过程中发现该框架式基于Quartz思想开发实现的，Quartz是一个很火的开源任务调度框架，完全由Java写成，可以说是 Java 定时任务领域的老大哥或者说参考标准，所以在这里先讲讲Quartz框架。
2023-08-29 15:02:48
103
原创 一条提示词等同于多少个数据点？
通过这项工作，我们研究了一种新的、基于自然语言提示的微调方法，其目的是通过单词预测显式地利用预训练模型的语言建模能力，而不是通过基于模型中间表征的线性分类器隐式地利用它。为了公平比较，我们把问题建模为用反向传播来微调基于提示的分类器语言模型，我们发现提示法通常优于使用标准微调线性分类头的方法。我们用数据点来估计这种优势，以衡量人类通过提示提供的附加信息，并发现编写提示始终抵得上数百个数据点。此外，即使没有言语器带来的信息量（即使用空言语器），这种优势仍然存在，并且这种方法对于提示的选择相当鲁棒。
2023-08-29 15:01:39
24
原创 使用if管理请求路径
在Web开发中，我们经常需要处理各种各样的请求路径。有时候，我们需要根据请求的路径来执行不同的操作。这时候，我们就可以使用if语句来管理这些请求路径。本文将详细介绍如何使用if语句来管理请求路径，并通过一个简单的案例来说明如何获取铁粉。
2023-08-26 20:48:20
40
原创 手把手教你使用人工智能生成游戏 3D 素材
关于如何使用生成型 AI 工作流程创建实用 3D 素材的教程就此结束。虽然结果保真度不高，但潜力巨大：通过足够的努力，这种方法可以用来生成一个低保真风格的无限世界。随着这些模型的改进，将这些技术转移到高保真或逼真的风格将会成为可能！
2023-08-24 20:51:04
170
原创 应用开发者的疑问：大模型是真正的银弹吗？
传统行业，比如福特汽车，每卖出一辆汽车，就必须付出一辆车的生产成本，甚至要扩建厂房等等，这最终使得福特汽车的规模扩张不再划算，不得不市场份额让给其他厂商。而假如应用全面接入了大模型，每次调用都是大模型产生的，目前 Open AI 的是按 token 收费的，最便宜的 GPT-3.5 Turbo 模型的价格是 0.0015 美元每 1000 token 输入，0.002 美元每 1000 token 输出，这算成人民币我们就简单估计成每 1000 token 输入输出 2 分钱，也就是 0.02 元。
2023-08-22 21:19:11
43
原创 一条提示词等同于多少个数据点？
我们使用的具体方法是：对每个任务，我们通过从数据集中选取样本数不断增加的子集，然后在每个子集上使用这两种方法对 RoBERTa-large 进行微调，同时其他所有配置保持不变，最后对评估各自的微调模型的性能。在与 Alexader Rush 合作的 NAACL 2021 论文 中，我们研究了基于提示的微调，该方法可用于替代当前标准的有监督微调法，我们的实验表明提示通常比标准方法更有优势，因此该方法很有前途。因此，我们可以认为，即使没有信息丰富的言语器，提示法带来的归纳偏差也是有益的。
2023-08-17 21:43:55
57
原创 一次网络不通 “争吵” 引发的思考
通过 conntrack 表可以到，这是由于在 cn-hongkong.10.0.5.168 节点上，相关的链路被 dnat，最后是由 pod cn-hongkong.10.0.2.77 节点上的 nginx-79fc6bc6d-8vctc 10.0.2.78 返回源，源在接受这个链路后，会发现和自己的五元组不匹配，直接丢弃，三次握手必然失败，所以建连失败。通过 conntrack 表可以到，在没有 ep 的节点访问 SLB 的 IP，可以看到期望的是后端 pod 返回给 SLB IP。
2023-08-16 21:41:13
225
原创 一文揭秘饿了么跨端技术的演进、实践与落地
本文会先带领大家一起简单回顾下跨端技术背景与演进历程与在这一波儿接着一波儿的跨端浪潮中的饿了么跨端现状，以及在这个背景下，相较于业界基于 React/Vue 研发习惯出发的各种跨端方案，饿了么为什么会选择走另外一条路，这个过程中我们的一些思考、遇到及解决的问题和取得的一些成果，希望能给大家带来一些跨端方面的新思路。
2023-08-13 15:03:47
139
原创 一文详解 DolphinDB SQL 标准化
大小写兼容：SQL 关键字支持全大写或全小写，字段名大小写不敏感，但数据库名 / 表名还是大小写敏感；SQL 语句换行解析：支持在 SQL 语句中任意位置的换行；支持谓词：支持的关键字有 (not) in, (not) like, (not ) between and, (not) exists, is (not) nulldistinct 支持多列：distinct 支持对多个字段一起去重，暂不支持与 group by, context by, pivot by 联用；
2023-08-09 19:56:22
1098
原创 与时俱进「风险系统保障质量之路」非同寻常
为了响应公司的号召，为了达成支持业务最大化，今年开始陆续把自建的平台关闭，关停了一些 ROI 低的工作，把相关的业务自动化测试用例，陆续有条不紊的迁移到更佳优秀的接口测试平台上，把自研开发平台的人力加到业务支撑，接口的自动化今年覆盖度从年初的 18% 到年中的 40% 左右，实现了主流程链路的覆盖，业务使用率达到 32% 左右，从行云里的数据来看，上半年无论是从测试交付的周期还是吞吐量都有较大的改善，真正的做到了自动化赋能业务，业务交付显著增长的结果；凌晨 3 点的身影就像一束光，夺目耀眼；
2023-08-01 07:43:45
59
原创 安全测试之探索 windows 游戏扫雷
扫雷游戏相信很多人都从小玩过，在那个电脑游戏并不多的时代，扫雷成为玩的热度蛮高的一款游戏之一，然而就在有一次，接触到了一次不寻常的扫雷过程，使得后来我也有了这个冲动，也来做一次。通过动态调试，逆向和 C 来写一个扫雷辅助工具从而提高逆向与编码技能。
2023-07-24 15:21:35
164
原创 搜索语义模型的大规模量化实践
经过近几年的技术演进，语义模型在百度搜索场景中被广泛地应用，消耗了大量的 GPU 资源，模型压缩技术也随之得到大量研究和实践。通过兼顾推理性能、业务效果和迭代效率的优化目标，我们成功地将 INT8 量化技术大面积地应用到了搜索场景中，极大地提高了资源效能。此外，目前大模型正在被研究和应用，算力资源已经成为瓶颈，如何以更低的成本进行落地是一个非常热点的问题。基于对模型压缩技术的实践和积累，我们能够更好地助力大模型的探索和应用。
2023-07-18 14:04:23
132
原创 2023 年最具威胁的 25 种安全漏洞 (CWE TOP 25)
CWE Top 25 是通过分析美国国家漏洞数据库 (NVD) 中的公共漏洞数据来计算的，以获取前两个日历年 CWE 弱点的根本原因映射
2023-07-14 15:58:44
428
原创 一站式运维管家 ChengYing 主机接入原理解析
在部署完 ChengYing 之后，从集群进去，进入，进行集群编辑之后，开始主机接入流程。具体的接入过程请看下图及文末的视频讲解，主要注意脚本的解析、下载和读取。
2023-07-12 15:19:28
42
转载 C语言实现贪吃蛇（easyx）
因为我为游戏加入了背景音乐，所以要在贪吃蛇文件中新建一个sound文件，然后再加入四首音乐进去，记住重命名，名字和我的四首音乐一样（2.当然如果编译环境是Dev c++和vc++的，这里也有，不过没有背景音乐和easyx，直接复制就可以运行，比较简易。，有兴趣的可以自取，为了大家移植方便没有写头文件，直接复制就可以运行，编译环境是vs2022。但是运行之前首先要进行两个配置，不然会报错。双人游戏我没有写，有兴趣的可以自己加进去。1>将字符集改为“使用多字节字符”的音乐格式不行，要用qq音乐的）
2023-07-11 21:28:35
193
8
原创 区块链关键技术之一：共识算法
没有规则不成方圆，共识算法作为区块链技术的核心和基础，就好比一个国家的法律，使得区块链能够实现交易的去中心化，同时确保每笔交易在所有记账节点上的一致性和正确性，并得到所有参与方的认可。中本聪在比特币的白皮书中有提到将工作量证明（PoW：Proof of Work）作为了比特币的共识算法，PoW 简单理解，就是通过工作量抢夺决策权，你付出越多工作量，就越有机会获得多少记账权（例如比特币）。所谓共识，字面意思就是大家都达成一致的意思，例如篮球比赛，为了能正常开展比赛，所有参与者都要对比赛规则达成共识。
2023-07-09 21:12:41
431
1
原创 Hyperledger Fabric 2.x 自定义智能合约
执行以下命令，设置peer0.org1--tlspackage-id 的值按实际进行修改。执行以下命令，设置peer0.org2--tls \package-id 的值按实际进行修改。
2023-07-09 21:11:21
350
原创 解决异构系统集成难题，富融银行这样做
富融银⾏是⼀家⽴⾜于⾹港，⾯向全球业务的虚拟银⾏，创立以来先后斩获 2021 年 - 杰出虚拟银行服务大奖、2022 年 -[领航 9+2 粤港澳大湾区奖项] 粤港澳大湾区最佳银行 等荣誉。富融银⾏以⼤数据、云计算等技术为驱动，为用户提供存款、贷款、转账、理财、营销等⼀站式的⾦融服务。富融银行的核⼼系统是处理银⾏业务存款、贷款和中间件业务等最基本业务的 IT 系统。为了⽀持银⾏业务的⾼速发展，核⼼系统涵盖了外购、⾃研 2 ⼤类系统，其中外购系统不具备⼆次开发能⼒，需要供应商⽀持。
2023-07-09 21:01:50
109
原创 谈谈 ByConity 存储计算分离架构和优势
基于以上使用过程中发现的问题，我们在开源的 ClickHouse 架构基础上进行了升级，引入了计算与存储分离的架构，将原本计算和存储分别在每个节点本地管理的架构转换为在分布式存储上统一管理整个集群内所有数据的架构，使得每个计算节点成为一个无状态的单纯计算节点，并利用分布式存储的扩展能力和计算节点的无状态特性实现动态的扩缩容。此外，该架构还支持多租户隔离和读写任务的分离。高弹性、高扩展性：计算和存储独立扩缩容多租户隔离：不同租户使用不同计算组读写分离：读写使用不同的计算资源资源隔离。
2023-07-09 21:00:20
225
原创 可视化探索开源项目的 contributor 关系
引语：作为国内外最大的代码托管平台，根据最新的 GitHub 数据，它拥有超 372,000,000 个仓库，其中有 28,000,000 是公开仓。分布式图数据库 NebulaGraph 便是其中之一，同其他开源项目一样，NebulaGrpah 也有自己的 contributor 们，他们是何时，通过哪个 pr 与 NebulaGraph 产生联系的呢？本文尝试用可视化方式，来探索这些 contributor 的痕迹。世界上有两种需求，一种是能做的，另外一种是不能做的；
2023-07-09 20:59:10
70
原创 基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索
每种开发模式没有绝对的好坏之分，需要根据不同企业的实时计算场景和阶段，采⽤不同的开发模式，才能真正达到降本增效的目的。・当企业刚接触实时计算，数据开发⼈员对 FlinkSQL 熟悉度较低时，DEMO 模式是最好的选择；・当企业已经上⼿实时计算，但是任务量还不⼤时，脚本模式或者向导模式是不错的选择；・当企业实时计算达到⼀定规模，需要进⾏类似离线数仓的管理⽅式时，Catalog 模式是最优的选择。
2023-07-09 20:56:38
72
原创 一份保姆级的 Stable Diffusion 部署教程，开启你的炼丹之路
安装完 Stable Diffusion 及上面的推荐插件，你的 Stable Diffuion 已经具备强大的生产力。后续我会继续同大家一起探索和分享更多的使用经验。
2023-07-09 20:54:43
2380
1
转载 【区块链时代】智能合约编程语言Solidity合约文件讲解
1、版本申明，告诉编译器使用那个版本编译器来编译这个合约文件。3、合约：包含状态变量、函数、结构类型、事件、函数修改器。2、import ：指明合约文件会导入那些合约文件。
2023-07-07 16:21:59
136
1
原创 移动端游戏性能优化简谱之 常见游戏内存控制。
《Unity 移动端游戏性能优化简谱》从 Unity 移动端游戏优化的一些基础讨论出发，例举和分析了近几年基于 Unity 开发的移动端游戏项目中最为常见的部分性能问题，并展示了如何使用 UWA 的性能检测工具确定和解决这些问题。内容包括了性能优化的基本逻辑、UWA 性能检测工具和常见性能问题，希望能提供给 Unity 开发者更多高效的研发方法和实战经验。资源内存、Mono 堆内存等常见游戏内存控制，共 13 小节，包含了纹理资源、网格资源、动画资源、音频资源、材质资源等多个资源内存以及 Mono 堆内存等
2023-07-07 16:09:13
176
1
原创 Hyperledger Fabric 无排序组织以 Raft 共识算法启动多个 Orderer 服务、多组织共同运行维护 Orderer 服务
在Hyperledger Fabric 无系统通道启动及通道的创建和删除中，我们已经完成了以无系统通道的方式启动 Hyperledger Fabric 网络，并将链码安装到指定通道。但目前为止，实验中的 orderer 服务都是通过单独的排序组织来维护且只有一个，那能不能排序排序组织而使用普通组织来运行维护多个 orderer 服务以降低网络复杂度呢？在全网检索后发现并没有人进行相关尝试，只能自己慢慢排坑了。
2023-07-07 16:04:55
99
1
转载 技术解析 + 代码实战，带你入门华为云政务区块链平台
政务区块链平台是行业区块链平台的初步实践，未来在区块链技术的发展下，还会打造面向其他领域的链管平台，构建多方协同的分布式账本，让区块链应用更便捷高效的为产业服务
2023-07-07 16:01:06
259
1
原创 云时代已至，新一代数据分析平台是如何实现的？
当执行更新（update）或删除（delete）操作时，PieCloudDB 会生成一个新的 block，将未发生变化的 tuple 放入新的 block 中，并将更新后的用户数据放入新的 block 中（例如，在 block 4 上执行更新操作后，生成一个新的 block 5，将更新后的用户数据放入新的 block 5 中）。这样的设计确保了扩缩容操作的高效性。计算引擎方面，需要具有关系型数仓的众多优势，能够具备支持完备的 SQL 语言，具有高效的分布式计算能力，且能够具有完备的事务 ACID 特性。
2023-07-02 18:08:03
73
1
原创 带你彻底掌握 Bean 的生命周期
目录1. 理解 Bean 的生命周期1.1 生命周期的各个阶段2. 理解 init-method 和 destroy-method2.1 从 XML 配置创建 Bean 看生命周期2.2 从配置类注解配置创建 Bean 看生命周期2.3 初始化和销毁方法的特性2.4 探究 Bean 的初始化流程顺序3. @PostConstruct 和 @PreDestroy3.1 示例：@PostConstruct 和 @PreDestroy 的使用3.2 初始化和销毁 —— 注解和 init-method 共存对比4.
2023-06-27 16:58:42
218
1
原创 详解深度学习中推荐系统的经典模型
另一方面，传统的输入层是用 Embedding 的方式（如 Word2Vec 的词向量）或者主题模型的方式（如 LDA 的主题向量）来直接做词的映射，再把各个词的向量累加或者拼接起来，由于 Word2Vec 和 LDA 都是无监督的训练，这样会给整个模型引入误差，DSSM 采用统一的有监督训练，不需要在中间过程做无监督模型的映射，因此精准度会比较高。在输入特征部分，由于原始特征向量多是高纬度，高度稀疏，连续和类别混合的分域特征，因此将原始的稀疏表示特征映射为稠密的特征向量。这也是 FM 的优势所在。
2023-06-27 16:52:35
457
1
原创 ZadigX 全流程自动化测试解决方案
如何配置：以 SonarQube 示例，新增代码扫描，指定扫描工具 ，配置待扫描的代码库、扫描脚本，开启质量门禁检查并配置触发器，具体的配置步骤可参考文档：如何配置静态代码扫描 [4]。如何配置：新增测试，配置基本信息、代码信息和测试脚本，在 < 测试报告配置 > 中指定报告目录，添加触发器配置并增加 IM 通知，具体的配置步骤可参考文档：如何配置测试 [5]。测试配置中的任务类型选择 ，其他的配置和集成测试类似，此处不再赘述。配置过程和单元测试类似，此处不再赘述。
2023-06-27 15:36:45
283
1
原创 Falcon 登陆 Hugging Face 生态
Falcon 是最新的、令人兴奋的、可商用的大语言模型。在本文中，我们展示了 Falcon 模型的功能、如何在你自己的环境中运行 Falcon 模型以及在 Hugging Face 生态中如何轻松地用自有数据微调它们。我们期待看到社区如何使用 Falcon 模型！
2023-06-25 21:01:37
370
原创 Alluxio Operator 一体化部署方案
当我们创建了一个 Presto 资源后，自定义的 controller 仍然要监控资源的状态，如果资源的状态被更新了（比如 Presto 的镜像被更新了），那么它也需要根据更新之后的状态和当前状态进行对比，之后 controller 要去做的事情就是自动更新它所创建的相关资源，而我们则无须关心要更新哪些内置的 deployment 和 service。比如如果镜像的版本发生了变更，此时理所当然地 Operator 也能帮我们同时去修改那些相关的资源，这样一来，我们也不需要维护里面这些资源之间的关系了。
2023-06-25 20:35:21
44
原创 TRUNCATE 语句到底因何而慢？
目录问题现象关键配置问题分析总结Q1: TRUNCATE 语句是如何执行的？fd 句柄不变化？为什么执行时间长？TRUNCATE 语句如何执行？句柄为什么不变化？Q2: 如何分析 TRUNCATE 慢的问题？方式一：慢日志？方式二：执行计划？方式三：profileQ3: 能否优化？慢在哪里？post_ddl 如何调用？MySQL 8.0 的优化措施MySQL 5.7 的优化措施post_ddl 如何调用？Q4: 生产执行 TRUNCATE 是否存在隐患？IO 压力内存并发Q5: 不同版本对于 TRUNCAT
2023-06-19 21:05:19
160
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人