2020年04月_hellozhxy

转载 TCP

TCP 基本认识TCP 连接建立TCP 连接断开Socket 编程PS：本次文章不涉及 TCP 流量控制、拥塞控制、可靠性传输等方面知识，这些留在下篇哈!正文一、TCP 基本认识瞧瞧 TCP 头格式我们先来看看 TCP 头的格式，标注颜色的表示与本文关联比较大的字段，其他字段不做详细阐述。(1) 序列号：在建立连接时由计算机生成的随机数作为其初始值，...

2020-04-28 19:39:23 351

转载机器学习中的特征选择

特征选择是很重要的有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。推荐和广告系统中特征选择同样重要，虽然深度学习能在一定程度上解决自动特征组合以及交互的问题，但是现阶段的实际应用中仍然需要做一些特征设计以及显示的特征组...

2020-04-27 19:25:03 3796

-XX:MaxGCPauseMillis：暂停时间，默认值200ms。这是一个软性目标，G1会尽量达成，如果达不成，会逐渐做自我调整。对于Young GC来说，会逐渐减少Eden区个数，减少Eden空间那么Young GC的处理时间就会相应减少；对于Mixed GC，G1会调整每次Choose Cset的比例，默认最大值是10%，当然每次选择的Cset少了，所要经历的Mixed GC的次数会相应增...

2020-04-27 15:10:31 5321

转载多图详解Nginx

本文将围绕如下几个部分进行讲解： Nginx 简介及特点 Nginx 应用场景 Nginx 框架模型介绍 Nginx 内部流程介绍 Nginx 自定义模块开发介绍 Nginx 核心时间点模块介绍 Nginx 分流模块介绍 Nginx 动态 upstream 模块介绍 Nginx query_upstrem 模块介...

2020-04-27 14:58:29 431

转载阿里文娱搜索算法实践与思考

导读：视频搜索是涉及信息检索，自然语言处理( NLP )，机器学习以及计算机视觉 ( CV ) 等多领域的综合应用场景，随着深度学习在这些领域的长足进展以及用户对视频生产和消费的广泛需求，视频搜索技术的发展在学术和工业界都取得了飞速的发展，本文将以优酷为例，分享视频搜索的算法实践，首先介绍优酷搜索的相关业务和搜索算法体系，从搜索相关性和排序算法的特点和挑战到技术实践方案的落地，最后会深入介绍优酷...

2020-04-27 13:57:55 779

转载因果推断在阿里文娱用户增长中的应用

导读：如何实现产品的用户增长？显然，这是各家移动互联网应用的头等大事，也是悬在各家业务负责人头上的"天问"。在移动互联网进入下半场的大趋势下，过去粗放式的买量、厂商合作等模式越来越会受到掣肘，将更加依赖精细化的用户增长策略和产品用户体验的细致打磨；经典的 AARRR 模式会逐步转向 RARRA 模式，提升产品留存、拉活、分享传播等方式是构建增长的主要战场。而在此之中，对于一个内容型产品，个性化算法...

2020-04-27 11:14:39 1196

转载谷歌最新双塔DNN召回模型——应用于YouTube大规模视频推荐场景

“谷歌基于双塔DNN框架提出一个大规模最近邻召回系统，为降低采样偏差带来的影响，文章对batch softmax的损失函数进行了改进，同时从工程的角度介绍了大规模双塔DNN召回模型的训练、部署、应用等细节”文章来源：https://zhuanlan.zhihu.com/p/128988454点击文末【阅读原文】关注专栏及时获得更多更新！一、创新点1、文章将视频召回问题看做一个多分类...

2020-04-26 17:31:40 2921

转载缓存穿透、缓存击穿和缓存雪崩

我们使用缓存的主要目是提升查询速度和保护数据库等稀缺资源不被占满。而缓存最常见的问题是缓存穿透、击穿和雪崩，在高并发下这三种情况都会有大量请求落到数据库，导致数据库资源占满，引起数据库故障。今天我主要分享一下layering-cache缓存框架在这个三个问题上的实践方案。概念缓存穿透在高并发下，查询一个不存在的值时，缓存不会被命中，导致大量请求直接落到数据库上，如...

2020-04-24 13:50:06 183

原创 layering-cache

layering-cachelayering-cache是一个支持分布式环境的多级缓存框架，使用方式和spring-cache类似，主要目的是在使用注解的时候支持配置过期时间。layering-cache其实是一个两级缓存，一级缓存使用Caffeine作为本地缓存，二级缓存使用redis作为集中式缓存。并且基于redis的Pub/Sub做缓存的删除，所以它是一个适用于分布式环境下的一个缓存...

2020-04-24 13:46:25 1235

转载只有正样本和无标签样本时如何构建分类器

Building Text Classifiers Using Positive and Unlabeled ExamplesBing Liu, Yang Dai, Xiaoli Li, Wee Sun Lee, Philip S. YuUniversity of Illinois at Chicago,National University of Singapore/Singapo...

2020-04-22 14:33:18 1971

转载蚂蚁金服大规模分布式事务实践和开源历程

本文整理自蚂蚁金服技术专家、分布式事务 Seata 发起者之一张森（花名：绍辉）在 GIAC 全球互联网架构大会的分享。10几年的经验，今天全部公开和开源。一、自研分布式事务解决数据一致性问题1.1 分布式事务问题产生原因1.1.1 数据库的水平拆分蚂蚁金服的业务数据库起初是单库单表，但随着业务数据规模的快速发展，数据量越来越大，单库单表逐渐成为瓶颈。所以我们对数据库进行了水平...

2020-04-21 10:46:03 308

转载搭建会员权益体系

序言：会员权益体系的设计是用户运营的一部分。简单来说，会员权益就是将已有会员分出等级，并利用已有资源来对其进行分配。有了完整的会员权益体系，才能把已有用户牢牢把握住。不过磨刀不误砍柴工，在着手搭建会员权益之前，有些问题想清楚后再做不迟。在上篇文章《会员积分消耗中的三大问题，你都避开了吗？》中，我们谈到了会员积分消耗的问题。因为积分消耗非常常见且重要，所以在很多平台中，运营人员会想当然地认...

2020-04-20 15:07:36 5991

原创 kubectl命令

kubectl 详细命令用法可以参考官网：https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commandskubectl 常用的命令总结只显示默认命名空间的podskubectl get pods显示所有空间的podkubectl get pods --all-namespaces显示指定空间的po...

2020-04-14 14:47:38 713

转载 Apache Kylin VS Apache Doris

作者: 康凯森日期: 2018-04-17分类:OLAP1 系统架构 1.1 What is Kylin 1.2 What is Doris 2 数据模型 2.1 Kylin的聚合模型 2.2 Doris的聚合模型 2.3 Kylin Cuboid VS Doris RollUp 2.4 Doris的明细模型 3 存储引擎 4 数据导入 5 查询...

2020-04-12 20:02:37 418

转载 Apache Doris : 一个开源 MPP 数据库的架构与实践

分享提纲： Doris 背景介绍适用场景 & 案例介绍 Doris 整体架构 Doris 关键技术 Doris 背景介绍介绍 Doris 的整体架构，以及 Doris 的一些特性。一、DorisDoris 是分布式、面向交互式查询的分布式数据库，主要部分是 SQL，内部用到 MPP 技术。什么是 MPP?MPP ( Massiv...

2020-04-11 21:21:44 836

转载 Redis面试题

Redis(Remote Dictionary Server) 是一个使用 C 语言编写的，开源的（BSD许可）高性能非关系型（NoSQL）的键值对数据库。Redis 可以存储键和五种不同类型的值之间的映射。键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合、散列表、有序集合。与传统数据库不同的是 Redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用...

2020-04-07 15:41:12 920

转载深度学习在省钱快报推荐排序中的应用与实践

文章作者：省钱快报算法团队编辑整理：Hoh Xil内容来源：作者授权出品平台：DataFun注：欢迎转载，转载请在留言区留言。导读：省钱快报是一家中小型综合类电商APP，近2年平台规模有了较大增长，AI在平台业务发展中发挥了巨大作用。本文以推荐场景优化在省钱快报的发展为脉络，对于中小型电商公司在资源有限的客观条件下，对机器学习和深度学习的运用进行了架构和模型的相关探索。...

2020-04-03 17:20:11 480

转载深入理解XGBoost：分布式实现

文章来源：公众号【Coggle数据科学】写在前面本文将重点介绍XGBoost基于Spark平台Scala版本的实现，带领大家逐步完成特征提取、变换和选择、XGBoost模型训练、Pipelines、模型选择。XGBoost简单回顾XGBoost（Extreme Gradient Boosting）由华盛顿大学的陈天奇博士提出，最开始作为分布式（深度）机器学习研究社区（DMLC）小组...

2020-04-03 11:21:47 1735

hellozhxy的博客