小田-CSDN博客

原创【机器学习技术系列】FM系列算法详解(FM、FFM、DeepFM)

可解释性强。形式简单，训练速度快。表达能力有限只在处理二分类问题上优势明显。

2024-04-23 17:36:06 3753 1

原创【深度学习技术系列】推荐系统-双塔模型基本原理与实践

双塔模型经典又简单，就是NLP领域的 query 和 document，推荐领域的 user 和 item，多模态检索领域的图像和文字等，都可以用双塔表示，分别把两个领域的特征编码成一个向量，然后向量相似度进行召回。较早使用双塔模型的是DSSM模型。将文本编码成对应低维向量，然后通过优化向量点积估值，得到合适的query和文档向量。线上通过query和文档的相似度进行文档的召回。推荐系统中使用的双塔模型结构如下：真实的推荐领域的大规模推荐系统，通常有百万到上亿的item和user。

2024-04-06 23:28:46 3561

原创【深度学习技术系列】大模型基础组件 - Tokenizer

文章目录1. 前言2. 示例3. 对比4. 子词切分4.1 字节对编码（Byte-Pair Encoding, BPE）4.1.1 训练阶段4.1.2 推理阶段4.1.3 BBPE4.2 WordPiece4.2.1 训练阶段4.2.2 推理阶段4.3 Unigram4.3.1 训练阶段4.3.2 推理阶段4.4 SentencePiece4.4.1 byte回退5. 语法5.1 英文文本向量化5.2 对中文文本向量化参考1. 前言Tokenizer是一个用于向量化文本，将文本转换为序列的类。计算机在

2024-03-10 22:12:50 2298 1

原创【深度学习技术系列】Bert生成向量实践

2024-03-10 19:40:02 1456

原创【PyTorch】Pytorch 入门简介

PyTorch 是一个由Facebook的人工智能研究团队开发的，开源深度学习框架。2016年发布后，PyTorch很快就因其易用性、灵活性和强大的功能而在科研社区中广受欢迎。发布伊始：2016年Facebook的AI研究团队公开了PyTorch，其旨在提供一个快速、灵活且动态的深度学习框架。PyTorch的设计哲学与Python非常相似：易读性和间接性优于隐式的复杂性。PyTorch用Python语言编写，是Python的一种扩展。

2024-03-08 16:31:12 1314

原创【Go】Go语言的介绍

连续栈策略在协程的栈空间不足时，调用newstack创建一块为原来大小两倍的栈空间，然后调用copystack将原来空间中所有内容复制到新开辟的栈空间中，将指向旧栈对应变量的指针重新指向新栈（想同变量在栈扩容前后地址发生变化），最后调用stackfree销毁并回收原来的栈空间。1）分段栈：Go1.13之前栈扩容使用分段栈策略，如果栈空间不足调用newstack创建一个新的栈空间，但是新创建的栈空间和原来的栈空间不连续，协程多个栈空间之间用双向链表的形式串联，通过指针找到这些栈空间。

2024-03-08 10:31:54 881

原创【前端vue】 mac搭建vue环境

sudo cnpm install vue-router vue-resource --save //vue 路由模块vue-router和网络请求模块vue-resource。sudo npm install webpack-dev-server@2.9.1//下载重装webpack-dev-serve。参考链接：https://jjxliu306.github.io/ng-form-element/dist/index.html。替换成 sudo vue init webpack vuedemo。

2024-03-07 09:08:54 1083

原创【Go】Go语言入门

可以使用命令下载如果需要指定版本可以去官网下载： https://golang.google.cn/dl/，直接安装即可有时间的同学可以看看，go的学习文档： https://topgoer.cn/docs/golang/golang-1ccjbpfstsfi1。

2024-03-06 10:20:55 979 1

原创 [缓存 - tair] tair的基本知识点和架构设计

通过代理解决：对于正常的数据迁移来说，假设桶2，3，4的数据从DataServer A同步到DataServer B，其中2的数据已经迁移完成，3的数据正在迁移，4的数据还没迁移。当因为某台dataserver宕机导致的数据迁移时，客户端会收到ConfigServer发送过来的中间临时状态的路由表，表中会把宕机的DataServer所负责的bucket临时指派给具有其备份副本的DataServer来处理，此时，服务保持可用，但负载可能不均衡，当迁移完成后，才能重新达到一个新的负载均衡的状态。

2024-02-28 02:05:59 1805

原创【AI.OS】深入解读阿里开源系统全图化引擎

看到这张图可能会有点懵，熟悉和使用过搜索推荐服务的同学可能都知道在线技术组件如DII、RTP、HA3、BE、IGraph，它们在不同场景发挥各自擅长的作用。那么AI.OS(Artificial Intelligence Online Serving) 是个啥概念？乍一看，是将搜索、推荐、广告、深度学习、信息流所应用到的技术组件融合成了一个体系，形成一个基础的引擎平台。仔细一琢磨，这么做是想干啥呢？带着这个问题一步一步往下看在这个组件的最下层是资源的管理，叫 Hippo，是一个非常高效的资源管理系统。

2024-02-27 21:44:24 2121 2

原创阿里开源高性能搜索引擎 Havenask - Ha3

本文会重点介绍一下阿里系的搜索引擎中间件 Havenask（内部代号Ha3），在阿里内部支持了淘宝、天猫、菜鸟、优酷、高德、饿了么等在内的阿里搜索业务。Ha3 支持千亿级别数据实时检索、百万qps查询，百万TPS高时效性写入保障，毫秒级查询延迟和数据更新。开源地址：http://github.com/alibaba/havenask。

2024-02-24 12:10:42 2910

原创 [缓存 - redis] Redis的基本知识点数据结构和常用操作命令

redis(remote dicitionary server)是一个高性能的key-value数据库，对数据库的操作是原子性的，采用C语言编写。Set 类型是一个无序并唯一的键值集合，它的存储顺序不会按照插入的先后顺序进行存储。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。相对于列表，集合也有两个特点：无序、不可重复。

2024-02-21 01:49:14 1025

原创 [缓存] RingBuff 环形队列、环形缓冲区及有锁无锁实现

由于自旋锁不需要进行线程切换，所以它完全在用户态下实现，加锁开销低，但是由于其采用忙等待的策略，对于短期加锁来说没问题，但是长期锁定的时候就会导致CPU资源的大量消耗。如果读取数据的速度跟不上写入数据的速度，旧的数据将被新写入的数据覆盖。所以当互斥锁加锁失败的时候，就伴随着两次上下文切换的开销，而如果我们锁定的时间较短，可能上下文切换的时间会比锁定的时间还要长。由于自旋锁和互斥锁的失败策略不同，自旋锁采用忙等待的策略，而互斥锁采用线程切换的策略，由于策略不同，它们的应用场景也不同。

2024-02-20 03:33:47 1991

原创第8章融入实际应用

可见，编译器未成功地将GBK编码的“你好”转换为UTF-8的码值“你”（E4 BD A0）“好”（E5 A5 BD），原因是使用编译选项-finput-charset=utf-8指定代码文件编码为UTF-8，而实际上代码文件编码为GBK，导致编译器出现错误的认知。当编译器处理字符串时，可以通过前缀来判断字符串的编码类型，如果目标编码与原编码不同，则编译器会进行转换，比如C++11中的前缀u8表示目标编码为UTF-8的字符，如果代码文件采用的是GBK，编译器按照UTF-8去解析字符串常量，则可能会出现错误。

2024-02-16 21:58:06 857

原创第3、4章 Kafka 生产者和消费者 ——向 Kafka 写入数据和读取数据

点对点模型：适用于一对一的消息传递，具有高可靠性。发布/订阅模型：适用于广播消息给多个消费者，实现消息的广播。主题模型：适用于根据消息的主题进行灵活的过滤和匹配，处理复杂的消息路由需求。

2024-02-16 19:14:29 1746 1

原创第2章安装Kafka

num.recovery.threads.per.data.dir：每个目录的恢复线程数量，当服务器启动、重启、关闭时，都会使用线程池对日志目录下的分区进行处理，若每个目录下分区多恢复缓慢，建议加大这个值，kafka此时用于恢复分区的线程为：log.dir的目录数量*num.recovery.threads.per.data.dir，即log.dir指定了3个目录，而num.recovery.threads.per.data.dir为5，则总共启动15个线程。linger.ms：同一批次消息等待发送时间。

2024-02-16 02:29:09 790

原创第1章初识Kafka

消息被提交到磁盘，根据设置的保留规则进行保存。例如，一个包含了多个微服务的网站，可以为页面视图创建一个单独的主题，所有服务都以相同的消息格式向该主题写入数据。网站活动跟踪：网站的访问量，搜索量，或者其他用户的活动行为如注册，充值，支付，购买等行为可以发布到中心的topic，每种类型可以作为一个topic，这些信息流可以被消费者订阅实时处理、实时监控或者将数据流加载到Hadoop中进行离线处理等；，kafka有更好的吞吐量（每秒几十万），内置了分片、复制、容错机制，是大规模数据消息处理的更好的解决方案；

2024-02-16 00:02:14 886

原创第7章改变思考方式

捕获列表。在C++规范中也称为Lambda导入器，捕获列表总是出现在Lambda函数的开始处。实际上，[]是Lambda引出符。编译器根据该引出符判断接下来的代码是否是Lambda函数，捕获列表能够捕捉上下文中的变量以供Lambda函数使用。参数列表。与普通函数的参数列表一致。如果不需要参数传递，则可以连同括号“()”一起省略。可变规格。mutable修饰符，默认情况下Lambda函数总是一个const函数，mutable可以取消其常量性。在使用该修饰符时，参数列表不可省略（即使参数为空）。

2024-02-15 21:31:27 640

原创第6章提高性能和操作硬件的能力

A>中A是 (非类型的)模板参数包,它可以接收分离多个非类型参数作为模板参数,具体来说,Pack<1,0,2>会将A推导为整值1,0,2的pack,而B<A…有一个比较特殊的原子类型是 atomic_flag，因为 atomic_flag 与其他原子类型不同，它是无锁（lock_free）的，即线程对其访问不需要加锁，而其他的原子类型不一定是无锁的。A>中A是 (类型的)模板参数包,它可以接收任意多个类型参数作为模板参数,具体来说,Template<X,Y>会将A推导为X和Y类型的pack。

2024-02-15 15:22:16 638

原创第5章提高类型安全

智能指针的本质是类模版，可以创建任意类型的指针对象，智能指针对象使用完毕之后，对象自动调用析构函数释放指针指向的资源。智能指针的出现主要是为了解决C++中内存泄漏的问题，用对象创建指针，对象生命周期结束后调用析构函数来释放指针指向的资源。不是线程安全的，虽然share_ptr 内部的引用计数是加锁且线程安全的，但是指向的内容在操作写的时候并不是线程安全的。share_ptr 是共享式的管理，利用内部的引用计数来计算当前指向指针资源的个数，当计数为0时候释放指针指向的资源。

2024-02-14 11:51:19 898

原创第4章新手易学

enum // 匿名枚举A,B,C,}test;union // 匿名联合体/共用体char* name;}test2;struct // 匿名结构体数组int d;}test3[10];int main()// 引用匿名强类型枚举的值return 0;

2024-02-14 01:01:59 943

原创第3章通用性【下】

POD : Plain Old Data 简单旧数据指的是可以通过简单内存复制和传输的数据类型。POD对象可以通过memcpy或者其他等价操作进行复制，而且它们的内存布局是完全透明和可预测的。C++ 中POD类型可以分为两类：trivial 和 standard layout 类型分别可以通过如下判断Trivial类型Trivial类型是一种简单的类型，它没有用户定义的构造函数、析构函数或复制操作符，没有私有或保护的非静态成员，没有基类，也没有虚函数。

2024-02-13 20:57:50 700

原创 C++ 一文讲透内存分配

我们都知道C++中的内存管理是一个比较麻烦的事情，现在有个需求，需要在程序中记录主动申请的内存和主动释放的内存，以确保没有发生内存泄漏。程序在运行时，操作系统将可执行文件载入到计算机的内存中，成为一个进程。面试官：（笑）好吧，最后一个问题，咱们上面一直在讨论堆中的内存的分配和释放，请问一下，如果在栈上分配一块固定的内存？存放程序执行的机器指令，通常情况下，代码段是共享的，频繁执行的程序在内存中只有一个副本就可以。与data数据段不同的是，如果程序未运行，bss段的存储空间是不存在的，因而也不会有初始值。

2024-02-13 20:04:40 912

原创第3章通用性【上】

可以看到，std::forward模板函数对传入的参数进行强制类型转换，转换的目标类型符合引用折叠规则，因此左值参数最终转换后仍为左值，右值参数最终转成右值。完美转发实现了参数在传递过程中保持其值属性的功能，即若是左值，则传递之后仍然是左值，若是右值，则传递之后仍然是右值。答：在 C++11标准产生之前，是没有右值引用这个概念的，当时如果想要一个类型既能接收左值也能接收右值的话，需要用const左值引用，比如标准容器的 push_back 接口：void push_back (const T& val)。

2024-02-12 12:21:00 736

C++ 11 新特性 脑图 讲解C++ 面试

libconio-1.0.0.tar.gz

算法艺术与信息学竞赛

实用算法的分析与程序设计

android sdk

确定系统版本确定系统版本

空空如也

C++ 11 新特性脑图讲解C++ 面试