John159151-CSDN博客

原创 #Paper Reading# Training language models to follow instructions with human feedback

论文大体内容本文主要提出了GPT-3.5（InstructGPT）模型，通过使用人类反馈的数据集进行监督学习（RLHF，即reinforcementlearning from human feedback），对GPT模型进行Fine-tune，来达到预期效果。

2023-02-21 14:21:34 2912

原创 #Paper Reading# Language Models are Few-Shot Learner

论文大体内容本文主要提出了GPT-3（Generative Pre-Training）模型，通过大模型pre-train进行In-context Learning，并在Zero-shot Learning、One-shot Learning和Few-shot Learning上进行实验，在NLU任务上有不错的表现，但也就只有较少的task上能比得上Fine-tune的SOTA。

2023-02-20 17:24:05 583

原创 #Paper Reading# Language Models are Unsupervised Multitask Learners

论文大体内容：本文主要提出了GPT-2（Generative Pre-Training）模型，通过大模型pre-train进行Unsupervise Learning，并使用Zero-shot Learning的方式在NLU系列任务中取得收益。Motivation创建通用的大模型，是GPT系列文章的最大目标。而对于未涉猎过的领域（Zero-shot learning），通用大模型的效果会是怎么样的呢？Contribution①训练更通用的pre-train模型；②在zero-shot lea

2023-02-18 12:20:51 506

原创 #Paper Reading# Improving Language Understanding by Generative Pre-Training

论文大体内容：本文主要提出了GPT（Generative Pre-Training）模型，通过大模型pre-train + 子任务fine-tune的方式，在NLU系列任务中取得收益。Motivation相对Word2Vec通读全文的方式，本文的GPT模型另辟蹊径，采用通过上文预测下文的方式，更符合人的方式。Contribution①使用半监督学习的方法（大模型pre-train + 子任务fine-tune）进行NLU任务；②在12个task中的9个，取得state-of-art的成绩；

2023-02-16 15:20:30 562

原创 #Paper Reading# Pre-trained Language Model based Ranking in Baidu Search

论文大体内容：本文主要提出了一个Pre-trained的模型，通过引入类似BERT的预训练模型到百度搜索引擎的Ranking模块，来提升Ranking的效果。

2022-08-16 15:35:22 670

原创 #Paper Reading# Stochastic Optimization of Sorting Networks via Continuous Relaxations

论文大体内容：本文主要提出了NeuralSort模型，通过引入松弛，对置换矩阵变换为单峰行随机矩阵来解决sorting问题，使之前不能end2end训练（不可微分）的模型也能进行梯度下降优化。Motivation：Sorting问题不可微分，引入松弛来克服这个问题。Contribution：①提出NeuralSort模型，克服不可end2end训练问题；②应用NeuralSort模型到排列问题中（采用Plackett-Luce (PL) 分布）；③该模型在3个任务中取得收益；.......

2022-06-10 15:20:41 772

原创 #Paper Reading# Self-supervised Learning for Large-scale Item Recommendations

本文主要提出了SSL（Self-supervised Learning）框架，采用对比学习（Contrastive Learning）的方式用于推荐中召回模型的训练，使模型取得更好的效果。

2021-12-23 15:53:18 2723

原创 #Paper Reading# Search-based User Interest Modeling with Lifelong Sequential Behavior Data for CTR

论文题目: Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction论文地址: https://dl.acm.org/doi/10.1145/3340531.3412744论文发表于: CIKM 2020论文大体内容：本文主要提出了SIM（Search-based Interest Model）模型，用于支持超长用户行为序列建模，从而使得模

2021-09-04 17:38:32 371

原创 #Paper Reading# Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction

论文题目: Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction论文地址: https://arxiv.org/abs/2105.08909论文发表于: SIGIR 2021（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了GME（Graph Meta Embedding）模型来解决item冷启动问题；Motivation：现有模型冷启动问题解决的不够

2021-08-24 15:22:27 543

原创 #Paper Reading# Learning to Warm Up Cold Item Emb for Cold-start Reco with Meta Scaling and Shifting

论文题目: Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks论文地址: https://arxiv.org/abs/2105.04790论文发表于: SIGIR 2021（CCF A类会议）论文所属单位: 中科院计算所论文大体内容：本文主要提出了MWUF（Meta Warm Up Framework）框架，用于解决冷启动id

2021-08-04 16:23:21 471

原创 #Paper Reading# Warm Up Cold-start Advertisements: Improving CTR Predictions via L2L ID Embeddings

论文题目: Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings论文地址: https://dl.acm.org/doi/abs/10.1145/3331184.3331268论文发表于: SIGIR 2019（CCF A类会议）论文所属单位: 中科院计算所论文大体内容：本文主要提出了Meta-embedding的方法，用于给新的item生成更好的初始化em

2021-08-02 20:55:59 416

原创 #Paper Reading# Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling

论文题目: Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling论文地址: https://dl.acm.org/doi/abs/10.1145/3326937.3341252论文发表于: KDD 2019（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了Res-embedding的方法，用于优化深度学习模型泛化能力不够强的问题；Motivation：常见的emb

2021-04-22 09:12:07 315 2

原创 #Paper Reading# Learning Tree-based Deep Model for Recommender Systems

论文题目: Learning Tree-based Deep Model for Recommender Systems论文地址: https://dl.acm.org/doi/abs/10.1145/3219819.3219826论文发表于: KDD 2018（CCF A类会议）论文所属单位: Alibaba论文大体内容：本文主要提出了TDM（Tree-based Deep Model）方法，用于优化推荐系统中触发的问题；Motivation：常见的模型触发方法是Tower，然后使用AN

2021-04-15 09:14:34 219

原创 #Paper Reading# What You Look Matters? Offline Evaluation of AC for Cold-start Problem

论文题目: What You Look Matters? Offline Evaluation of Advertising Creatives for Cold-start Problem论文地址: https://dl.acm.org/doi/abs/10.1145/3357384.3357813论文发表于: CIKM 2019（CCF B类会议）论文所属单位: 字节跳动论文大体内容：本文主要提出了PEAC（Pre Evaluation of Ad Creative Model）模型，使用内

2021-04-13 16:48:26 455

原创 #Paper Reading# MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

论文题目: MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation论文地址: https://dl.acm.org/doi/abs/10.1145/3292500.3330859论文发表于: KDD 2019（CCF A类会议）论文所属单位: NCSOFT论文大体内容：本文主要提出了MeLU模型，使用meta-learning的方法（应用MAML框架[1]）去解决推荐系统上的冷启动问题。Motiva

2021-04-12 15:38:42 435

原创 #Paper Reading# Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

论文题目: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks论文地址: http://proceedings.mlr.press/v70/finn17a论文发表于: ICML 2017（CCF A类会议）论文所属单位: OpenAI论文大体内容：本文主要提出了与模型无关的Meta Learning框架，能够用于有效解决few-shot learning下的分类、回归、强化学习等问题。Motivation：传统

2021-04-08 21:17:33 432

原创 #Paper Reading# Efficient Heterogeneous Collaborative Filtering without NS for Recommendation

论文题目: Efficient Heterogeneous Collaborative Filtering without Negative Sampling for Recommendation论文地址: https://ojs.aaai.org/index.php/AAAI/article/view/5329论文发表于: AAAI 2020（CCF A类会议）论文所属单位: 清华大学论文大体内容：本文主要提出了EHCF（Efficient Heterogeneous Collaborativ

2021-04-07 15:06:19 251

原创 #Paper Reading# MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search

论文题目: MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search论文地址: https://dl.acm.org/doi/abs/10.1145/3292500.3330651论文发表于: KDD 2019（CCF A类会议）论文所属单位: Baidu论文大体内容：本文主要提出了一个基于Active Learning的数据增强算法——MOBIUS（莫比乌斯），用于解决百度凤巢中广告

2021-02-02 15:32:19 480

原创 #Paper Reading# Representation Learning-Assisted Click-Through Rate Prediction

论文题目: Representation Learning-Assisted Click-Through Rate Prediction论文地址: https://arxiv.org/abs/1906.04365论文发表于: arXiv 2019论文所属单位: Alibaba论文大体内容：本文主要提出了一个联合学习的框架DeepMCP，对于传统的CTR预测任务，在使用User和Item的特征基础上，还加入了UI之间的关系，II之间的关系进行联合学习，从而得出更好的效果。Motivation：

2021-01-04 17:54:43 254 1

原创关于“共识”算法以及比特币

最近看了一些关于“共识”算法的文章，从拜占庭问题、Paxos算法到比特币，觉得挺有意思的，下面简单总结下。1. 拜占庭问题描述如下：一组拜占庭将军分别各率领一支军队共同围困一座城市，各位将军必须通过投票来达成一致策略，即所有军队采取相同的行动。但因为各位将军距离较远，他们只能通过信使互相联系。将军们要如何达成共识？如果将军们存在叛徒，要怎么做？-->解决方法有两两通信、数字签名、PBFT等，详见[1]。2. Paxos算法曾存在名为paxos的希腊城邦（虚构），这个城邦选择议会投票的方式

2020-10-08 22:57:28 757

原创 #Paper Reading# On Sampled Metrics for Item Recommendation

论文题目: On Sampled Metrics for Item Recommendation论文地址: https://dl.acm.org/doi/abs/10.1145/3394486.3403226论文发表于: KDD 2020 best paper论文大体内容：本文主要论述了在推荐领域中，使用采样testset进行evaluate来比较各个模型，有可能会得出相反的结论。Motivation：数据量太大，所以工业界很多情况下都会选择采样。但是采样后计算的指标，是否与不采样的一致呢，

2020-09-19 16:07:03 615

原创 #Book Reading# 事实

书名: 事实链接: https://item.jd.com/12585998.html这本书告诉我们先验知识、对世界的固有印象，很容易导致认知的偏差，从而导致决策的失败。所以我们应该用数据思考，根据客观事实，给出判断，而不是想当然。本书开篇给出了13个关于对世界认知的问题（3选1），大部分人的回答正确率达不到 1/3 ，比随机乱猜还差。因为我们固有认识里，目前世界面临着很多的问题，未来世界会变得更差（受影视作品、新闻报道等影响）。而殊不知，世界正在逐渐变好。本书主要描述了10个情绪化本能，需要

2020-09-14 17:23:52 196

原创 #Book Reading# 算法交易员——会赚钱的人工智能

书名: 算法交易员——会赚钱的人工智能链接: https://item.jd.com/12696862.html这本书主要写了宽客（量化交易员）的发展历史，以及作者作为一名宽客，从入行到目睹这一行业的种种瞬间、变化、发展的感悟。其实这本书更多的还是类似闲聊或者从讲作者自身目睹的故事来写的，并没有我所期待的“干货”，但是看了之后能对一个想了解这一行业的小白有所帮助。我最早了解量化交易这一领域，是本科的时候玩ACM比赛的时候，了解到某位ACM大牛关于Jane Street这家金融公司的介绍[1]。当时

2020-09-14 01:21:33 546

原创 #Paper Reading# A Survey on Deep Hashing Methods

论文题目: A Survey on Deep Hashing Methods论文地址: https://arxiv.org/abs/2003.03369论文发表于: arXiv 2020论文大体内容：本文主要对使用深度学习的哈希方法进行了较为全面综述，是一篇总结概览近几年来学术界提出的深度哈希方法的文章。Motivation：深度哈希是近几年来的热方向，大家都将传统的哈希方法往深度学习方向引入，以获取更好的end2end哈希表示。Contribution：本文对深度哈希的综述，方便对这

2020-07-05 12:03:52 511

原创 #Paper Reading# Implicit Neural Representations with Periodic Activation Functions

论文题目: Implicit Neural Representations with Periodic Activation Functions论文地址: https://arxiv.org/abs/2006.09661论文发表于: arXiv 2020论文大体内容：本文主要提出使用sin来做激活函数，并且在特定任务上比relu好。Motivation：如何更好的处理复杂信号（如音频、图像、3D）是一个问题。Contribution：①本文提出使用周期激活函数来处理复杂信号（音频、图像

2020-06-24 19:22:02 1656

原创 #Paper Reading# AUCµ: A Performance Metric for Multi-Class Machine Learning Models

论文题目: AUCµ: A Performance Metric for Multi-Class Machine Learning Models论文地址: http://proceedings.mlr.press/v97/kleiman19a.html论文发表于: PLMR 2019论文大体内容：本文主要提出了在多分类下的AUC计算方法——AUCµ，具有与AUC同样的特性。Motivation：二分类问题往往会使用AUC进行eval，而多分类上往往会使用softmax。本文提出了AUCµ是为

2020-06-19 19:50:03 272

原创 #Paper Reading# TabNet: Attentive Interpretable Tabular Learning

论文题目: TabNet: Attentive Interpretable Tabular Learning论文地址: https://arxiv.org/abs/1908.07442论文发表于: arXiv 2019论文大体内容：本文主要提出了TabNet模型，能够高效地在tabular数据上完成分类/回归的任务，且具可解释性。本文提出的模型是用DNN的方式获得树模型的可解释性，且超越树模型的效果。Motivation：tabular数据一般都使用树模型去处理，怎么用DNN去实现树模型的效

2020-06-11 11:54:01 1762

原创 #Paper Reading# Learnable pooling with Context Gating for video classification

论文题目: Learnable pooling with Context Gating for video classification论文地址: https://arxiv.org/abs/1706.06905论文发表于: arXiv论文大体内容：本文主要提出了Gated NetVLAD模型，用于给视频打标，并在kaggle比赛中取得第一名。Motivation：如何更有效的对视...

2020-04-29 01:58:36 284

原创 #Paper Reading# PyTorch-BigGraph: A Large-scale Graph Embedding Framework

论文题目: PyTorch-BigGraph: A Large-scale Graph Embedding Framework论文地址: https://arxiv.org/abs/1903.12287论文发表于: SysML 2019论文大体内容：本文主要实现了大规模数据下的graph embedding，在效果微涨的情况下，训练性能有显著的提升，对于工业界大规模图网络的embeddi...

2020-04-21 15:57:05 615 1

原创 #Paper Reading# EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

论文题目: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks论文地址: https://arxiv.org/abs/1905.11946论文发表于: ICML 2019论文大体内容：本文主要提出了EfficientNet模型，来同时考虑网络的deep、width、resolution（分辨率）...

2020-02-23 17:57:24 380

原创 #Paper Reading# Class-Balanced Loss Based on Effective Number of Samples

论文题目: Class-Balanced Loss Based on Effective Number of Samples论文地址: http://openaccess.thecvf.com/content_CVPR_2019/html/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.ht...

2020-02-20 17:50:59 650

原创 #Paper Reading# On the Measure of Intelligence

论文题目: On the Measure of Intelligence论文地址: https://arxiv.org/pdf/1911.01547.pdf论文发表于: arxiv论文大体内容：这篇论文比较有趣，作者主要讨论了怎么测量AI，什么才是AI。然后作者提出了ARC数据集（Abstraction and Reasoning Corpus），用于更好的测量AI的能力。Motiv...

2020-02-11 13:43:11 643

原创新的abtest方法: Innovating Faster on Personalization Algorithms at Netflix Using Interleaving

1. 我们在线上做实验的时候，常常会用到abtest，来确定线上效果。而我们的abtest方法，往往就是对用户进行分组，对于相同比例的随机用户，进行效果比较。这种方法有个前提/假定，就是各组随机用户的分布是完全一样的。当然，一般情况下（如用户量特别大），这种方法大概率情况是不太有问题的，但是对于某些场景，如Netflix推荐场景，这种方法会有所局限；2. 在Netflix的推荐场景中，较少部分...

2019-12-30 01:10:21 703 1

原创 #Paper Reading# DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

论文题目: DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks论文地址: https://dl.acm.org/citation.cfm?id=3330858论文发表于: KDD 2019论文大体内容：本文主要提出了DeepGBM模型，来整合NN与GBDT的优势，支持sparse...

2019-12-21 12:22:29 565

原创 #Paper Reading# Deep Learning Recommendation Model for Personalization and Recommendation Systems

论文题目: Deep Learning Recommendation Model for Personalization and Recommendation Systems论文地址: https://arxiv.org/abs/1906.00091论文发表于: arxiv 2019论文大体内容：本文主要提出了deep learning recommendation model（DLRM...

2019-11-05 20:55:10 530

原创 #Paper Reading# Objects as Points

论文题目: Objects as Points论文地址: https://arxiv.org/abs/1904.07850论文发表于: arxiv 2019论文大体内容：本文主要提出了CenterNet的方法，来解决object detector中效率低的问题。CenterNet不但能够端到端训练，还能在效率和精度上做trade-off，并且在COCO数据集[1]上取得state-of-...

2019-10-10 13:20:10 293

原创 #Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

论文题目: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts论文地址: https://dl.acm.org/citation.cfm?id=3220007论文发表于: KDD 2018（CCF A类会议）论文大体内容：本文主要提出了Multi-gate Mixtur...

2019-10-09 15:59:15 449

原创 #Paper Reading# Gradient Harmonized Single-stage Detector

论文题目: Gradient Harmonized Single-stage Detector论文地址: https://www.aaai.org/ojs/index.php/AAAI/article/view/4877论文发表于: AAAI 2019（CCF A类会议）论文大体内容：本文主要提出了gradient harmonizing mechanism (GHM)的方法，来解决on...

2019-09-27 15:09:21 422

原创 #Paper Reading# Focal Loss for Dense Object Detection

论文题目: Focal Loss for Dense Object Detection论文地址: http://openaccess.thecvf.com/content_iccv_2017/html/Lin_Focal_Loss_for_ICCV_2017_paper.html论文发表于: ICCV 2017（CCF A类会议）论文大体内容：本文主要提出了Focal Loss，用于解决...

2019-09-24 19:32:06 383

原创 #Paper Reading# RSLIME: An Efficient Feature Importance Analysis Approach for Industrial RS

论文题目: RSLIME: An Efficient Feature Importance Analysis Approach for Industrial Recommendation Systems论文地址: 暂无论文发表于: IJCNN 2019（CCF C类会议）论文大体内容：本文主要介绍了爱奇艺团队用一个类似于LIME[1]的算法——RSLIME（Recommen- datio...

2019-07-01 01:18:18 516

fastdfs v3.11

tdm-gcc-64位

vim和screen的配置

TDM-GCC编译器

Sudoku数独

空空如也