自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

冲冲冲!

~~~~~kaggle expert,全球排名前1000,爱好参加各种kaggle天池等竞赛~~~~~

  • 博客(843)
  • 资源 (4)
  • 收藏
  • 关注

原创 参加的一些比赛

“2020创青春·交子杯” 新网银行金融科技挑战赛 AI算法赛道 名次:10/1.5k

2020-08-14 16:12:46 761 3

原创 必知必会!常用矩阵求导和重要的矩阵

转自https://blog.csdn.net/a841454735/article/details/88608682,来备份一下,矩阵求导很重要!一、矩阵求导  一般来讲,我们约定,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。1、向量对向量求导2、标量对向量求导3、向量对标量求导其他的可以参考wiki:维基百科矩阵求导公...

2020-04-25 22:18:20 1437

原创 程序员面试——C++工程师面试大全第一部分

1.static 关键字的作用1. 全局静态变量在全局变量前加上关键字 static,全局变量就定义成一个全局静态变量.静态存储区,在整个程序运行期间一直存在.初始化:未经初始化的全局静态变量会被自动初始化为 0(自动对象的值是任意的,除非他 被显式初始化);作用域:全局静态变量在声明他的文件之外是不可见的,准确地说是从定义之处开始,到文件结尾.2. 局部静态变量在局部...

2020-02-24 13:41:40 424

原创 C++面试必备问题

一、指针和引用的区别二、static 关键字的用法和作用三、const 关键字阻止一个变量被修改函数声明内可以使用const 修饰形参,表明其是一个输入参数,在函数内部不可以改变其值const 的几种用法:四、虚函数、内联函数虚函数用于实现运行时的多态,实现方式:C++ 内存模型规定最开始的四个字节(32位机器)为指向虚函数表的指针(vptr), 当把子类的实例赋值给基类指针,基类的vptr就会指向子类的虚函数表内联函数在编译时将所有运用内联函数的地方替换为代码块五、构造函数不可以为虚函数,析构函数需要为虚

2022-06-10 21:36:54 153 1

转载 史上最全因果推断合集-15(因果推断在快手推荐场景的应用探索)

推荐系统不可避免地存在偏差(bias)。一个用户无论是在刷视频、看资讯、还是在线购物等基于推荐的场景中作出的选择通常会产生各种偏差。比如用户会偏向点击位置靠前的内容,也会偏向于点击流行度比较高的内容;另外由于推荐系统给用户推荐的候选内容只占整体内容的一小部分,而用户的点击行为都是基于这样一小部分候选集进行的,所以这会产生选择偏差。与此同时,用户交互日志是模型训练的基础,直接基于这部分观测日志数据作为训练模型的样本会导致训练的模型存在bias,导致给用户推荐的内容同样存在bias,进而整个系统会形成bia

2022-06-01 12:24:29 610

转载 史上最全因果推断合集-14(因果分析在贝壳的探索实践)

因果推断的应用范围十分广泛,例如气候变暖、新药研发、物理研究、经济学等。AI领域,特别是互联网产业,如何科学的进行因果分析,是一个重要的议题。本次分享的主题是因果分析在贝壳的探索和实践。今天的介绍会围绕下面三点展开: 因果分析在研究什么 如何科学地做因果分析 因果分析在贝壳的探索与实践 ...

2022-06-01 10:42:16 416

转载 史上最全因果推断合集-12(因果推断在哈啰出行的实践探索)

导读:因果推断在智能营销场景有着广泛的应用。在哈啰出行酒店营销业务中,自研Tree-based因果推断模型通过修改分裂准则,使得模型目标和业务目标的一致性更高,在智能补贴模块中取得了较好的效果。本文的主要内容包括: 背景介绍,简单介绍智能补贴及其中的一些问题; 因果推断的应用,主要是Uplift建模,即增量预估; 因果推断在哈啰智能补贴场景的应用,包括一些创新; 问题的思考和未来的规划。 1. 天降红包场景哈啰出行的基本业务是两轮共享出行业务,包括单车和助力.

2022-05-31 11:05:19 390

转载 史上最全因果推断合集-11(Uplift-Model在贝壳业务场景中的实践)

1 背景随着互联网和人工智能技术的不断发展,智能营销已经慢慢渗透到各个行业,相对应的智能营销手段也越来越普及,在贝壳平台有多种触达消费者的渠道:比如,通过DMP人群标签圈定目标人群,然后对目标人群通过短信或者IM发送市场行情或用户关注房源信息(价格)变化,增加用户粘性;也可以通过定向发送优惠券引导用户向成交转化;在站外可以通过贝壳DSP平台进行广告推送,为平台拓展新用户。目前贝壳平台智能营销覆盖的群体中,其中有一部分自然转化率就很高,很明显这部分人是不需要投入运营成本的。那么如何通过技术来衡量和预测营销干预

2022-05-30 21:21:46 349

转载 史上最全因果推断合集-10(滴滴的国际化外卖团队智能补贴实战)

桔妹导读:随着因果推断理论体系(Casual Inference)的建立和补充,智能营销/智能补贴近年来在业界有了越来越多的落地成果。滴滴的国际化外卖团队DiDi Food自2020年上半年起开始推进了智能补贴算法在业务场景内的实验和落地,离线和线上效果均取得了一定进展。本文将主要介绍DiDi Food对这个方向上一些探索和实践经验。 0.  目录 本文内容较长,主要会包括以下几点:...

2022-05-30 13:21:22 1069

转载 史上最全因果推断合集-9(滴滴出行:大数据驱动的因果建模)

2022-05-30 11:08:41 172

转载 史上最全因果推断合集-8(腾讯看点挑战观测数据上的因果推断)

文的分享主题为观测数据因果推断,希望通过本文可以让大家对观测数据因果推断有一个整体的了解,明晰当前观测数据因果推断的困境和主要处理方法,以及在特定问题中的一套通用解法。具体将围绕以下3部分展开: 观测数据因果推断基本知识 准实验方法在腾讯看点的应用案例 启动重置类问题通用分析方法 观测数据因果推断基本知识1. 混淆结构和对撞结构因果关系是相关关系的一种,因果推断用于学习因果关系。左图中T和Y之间的有向边代表因果关系,此因果关系会让它们在上层显示出一个相关性。我们..

2022-05-29 09:53:18 323

原创 Import chainer报错:def shape(self) -> types.Shape:

这是因为python2.7环境pip默认安装的是7.0版本chainer但其并不支持python2,因此可以手动安装chainer6.7版本。pip install chainer==6.7

2022-05-28 22:12:10 41

转载 史上最全因果推断合集-7(因果推断在阿里飞猪广告算法中的实践)

在飞猪搜索CPC广告业务中,广告策略不仅需要考虑CPC消耗和广告主ROI,平台整体营收 ( 即CPC消耗+自然交易抽佣 ) 也是不能忽略的优化目标。传统上基于广告pCTR、pCVR、bid等因子的策略算法仅仅从广告曝光本身来对广告主、平台和用户的利益进行优化,难以准确调优这一平台整体目标。我们通过引入因果推断技术,将广告投放建模为对搜索产品的干预 ( intervention ),直接预测广告投放与否对业务目标产生的uplift效应,作为下游优化问题的线性奖励 ( rewards ) 或约束 ( const

2022-05-28 17:00:00 325

原创 tensorflow.python.framework.errors_impl.NotFoundError: undefined symbol: _ZN10tensorflow7strings6Str

这个编译报错只要把编译命令里的-D_GLIBCXX_USE_CXX11_ABI=0注释掉即可。github上的解释:一般来说,如果你用gcc版本>4从源代码编译Tensorflow,你不需要选项-D_GLIBCXX_USE_CXX11_ABI=0。如https://www.tensorflow.org/install/source所述官方的TensorFlow包是用GCC 4构建的,使用的是更老的ABI。对于GCC 5和更高版本,使用——cxxopt="-D_GLIBCXX_USE_

2022-05-28 16:32:12 163

转载 因果推断知识合集-6(腾讯微视数据算法驱动的用户增长)

2022-05-28 10:36:11 103

转载 史上最全因果推断合集-5(腾讯基于因果效应建模的PUSH配额优化)

本文介绍腾讯基于Uplift-Model的QQ浏览器PUSH配额优化实践。文章围绕下面三点展开:PUSH系统的特点 PUSH因果性分析 因果效应建模01PUSH系统的特点日常获得资讯有两种方式,一是主动打开资讯的推荐信息流,二是被动点开PUSH推送。整体来说,PUSH系统与推荐系统类似,PUSH推送可以建模为用户个性化推荐问题,通过计算候选内容点击概率,挑选点击率最高的内容进行推送。PUSH系统与推荐系统不同点在于,推荐系统有用户主动请求,携带浏览意图,此时只要做好用户的兴趣与内容的匹

2022-05-27 15:01:21 242

转载 史上最全因果推断知识合集-4(快手因果推断与实验设计)

导读:理解和识别用户行为指标的相互关系是实验分析的目标。在社区氛围下,影响用户行为的因素更为复杂,关系识别更为困难,如何使用各种学科的方法,对社区进行宏观或微观的建模分析,系统性的评估各种策略的长期生态影响,是所要解决的重要问题。本文金雅然博士将以快手直播的现实任务为例进行展开,介绍快手因果推断与实验设计的相关工作,主要内容包括:① 快手直播场景中遇到的因果推断问题及技术框架;② 基于观测数据或实验数据的因果推断技术案例;③ 涉及到网络效应的复杂实验设计。01快手直播场景中遇到的因果推断问题及技术框

2022-05-27 02:10:35 454

转载 史上最全因果推断合集-3(阿里文娱用户增长)

如何实现产品的用户增长?显然,这是各家移动互联网应用的头等大事,也是悬在各家业务负责人头上的"天问"。在移动互联网进入下半场的大趋势下,过去粗放式的买量、厂商合作等模式越来越会受到掣肘,将更加依赖精细化的用户增长策略和产品用户体验的细致打磨;经典的 AARRR 模式会逐步转向 RARRA 模式,提升产品留存、拉活、分享传播等方式是构建增长的主要战场。而在此之中,对于一个内容型产品,个性化算法对于用户留存、拉活将起到决定性的作用。考察与优酷类似的应用,在内容领域,增长的成功案例有: "头条快手"

2022-05-27 02:00:42 161

转载 史上最全用户增长知识合集-1(阿里B类电商用户增长实践)

用户量始终是衡量一个产品成功与否的重要指标,而搜索往往又是电商平台最大的流量入口。本次分享将介绍阿里B类电商平台1688的用户生命周期分析、全链路用户增长体系.首先看一下1688的数据,可以看到从今年4月份开始,相对于去年,整体的DAU和买家数有大幅提升,这与1688整体的B类买家心智和内容导购场景密不可分,当然我们用户增长团队也做了很多的工作。传统的用户增长理念是AARRR的理论,通过获取用户、激发用户、提高留存、增加收入和传播推荐。经过试验我们发现,召回一个流失用户的成本远远低于增加一个新用

2022-05-26 22:52:48 289

转载 史上最全因果推断合集-2(阿里大文娱智能营销增益模型)

1.智能营销面临的挑战智能化的营销手段越来越普及,商家可以通过多种渠道触达消费者,比如,在手淘上商家可以圈定他想要的目标人群,进行广告推送,为店铺拉新,也可以通过短信或旺旺这些渠道定向发放优惠券。无论是红包还是广告,我们都称为营销的干预手段,其背后都是有成本的。营销的目标就是在成本有限的情况下最大化营销的总产出,这里面最关键的一点是我们能否准确找到真正能被营销打动的用户,我们称他们为营销敏感人群,可以通过下面的图进行简单的解释:...

2022-05-26 22:37:33 281

原创 史上最全因果推断合集-uplift

1.因果分析三类典型代表方法包括哪些?2.uplift model的特征有哪些?包含哪些方面?与传统机器学习差别不大,追加干预特征(T=1/T=0);实操手段上,uplift model最大的问题为没有个体样本,要用群体样本去建模个体因果效应;理论层次上,uplift model用的是因果效应解释问题,传统机器学习模型用的是概率论解释问题。3.什么是uplift模型?Uplift models用于预测一个treatment的增量反馈价值。举个例子来说,假如我们想知道对一个用户展现一个

2022-05-26 21:56:55 251

原创 fatal error: torch/extension.h: No such file or directory

其实就是你现在环境的torch版本和你编译文件时用的不是一个版本,很大可能是你用了不同的conda环境导致的。更改为你编译代码用的torch版本即可。

2022-04-22 12:45:56 829

原创 如果conda找不到想要安装的库怎么办PackagesNotFoundError: The following packages are not available from current

ValueError: 'a' cannot be empty unless no samples are taken这句话的意思是np.random.choice这个函数的第一个参数不能为空

2022-04-18 15:11:04 1919

原创 scannet数据集和shapenet、modelnet等数据集的名称和标签对应关系

更详细的可以关注我私聊获得

2022-03-28 14:47:51 472 1

转载 3D物体分类---Shapenet类别说明

说明 由于Shapenet数据集中的文件标注为一串数字,我大概统计了一下对应类别,备份一下,以防万一 ...

2022-03-28 13:23:31 526 2

转载 CSDN博客如何转载

在参考“如何快速转载CSDN中的博客”后,由于自己不懂html以及markdown相关知识,所以花了一些时间来弄明白怎么转载博客,以下为转载CSDN博客步骤和一些知识小笔记。 参考博客原址:http://blog.csdn.net/bolu1234/article/details/51867099 转载CSDN博客步骤: 1.CSDN博客页面右键,点击【检查】 点击检查后,页面右侧出现html代码,如下图 2.如果需要转载全文,则在html代码下侧点击选中articl...

2022-03-16 21:51:19 55

原创 python程序中的内存泄露(matplotlib内存泄漏)

跑深度学习程序用到了matplotlib,发现在程序占用内存不断提高,原因经过排查是使用了fig.savefig()循环使用不断占用更多空间,产生了matplotlib内存泄漏。解决办法:fig.savefig()后接着两句:plt.close('all')gc.collect()...

2022-02-22 15:37:36 752 2

原创 linux周期执行某任务方法

crontab -l //列出当前的所有调度任务可用crontab -e命令来编辑,编辑的是/var/spool/cron下对应用户的cron文件示例:5 * * * * ls 指定每小时的第5分钟执行一次ls命令30 5 * * * ls 指定每天的 5:30 执行ls命令 30 7 8 *

2022-02-19 16:00:58 121

原创 linux跑程序占用缓存过多释放内存echo 3 > /proc/sys/vm/drop_caches

在跑pytorch时出现了占用内存过多的问题,当然这个问题可以通过调小num_workers解决,不过还有手动解决办法就是释放内存,命令如下:echo 3 > /proc/sys/vm/drop_caches而这样会显示权限不足,如果前面加上sudo命令也不行,因为这时候sudo 只是让 echo 命令具有了 root 权限,但是并没有让 “>” 命令也具有root 权限,所以 bash 会认为这个命令没有写入信息的权限。解决办法:sudo bash -c "echo 3 &

2022-02-19 15:09:41 1213

原创 tmux鼠标操作配置

先ctrl+b+:加鼠标的设置set-option -g mode-mouse onset-option -g mouse-resize-pane onset-option -g mouse-select-pane onset-option -g mouse-select-window on

2021-12-18 08:00:00 242

原创 TypeError: Object of type ‘TrackedArray‘ is not JSON serializable

如果x是Object of type 'TrackedArray',那么这里使用x.tolist()可以解决问题,转化为list

2021-12-08 14:58:31 120

原创 python模块路径问题,如何导入python模块

对于用import语句导入的模块,Python会按照 下面的路径列表顺序地查找我们需要的模块:1.当前的工作目录;2. PYTHONPATH (环境变量)中的每一个目录;3. Python默认的安装目录。如果我们在导入自己写的模块的时候,Python解释器提示找不到这个模块ModuleNotFoundError: No module named '模块名 '那么,说明我们写的模块没有放在上述三类路径。由于这三类目录都保存在标准模块sys的sys.path变量中,因此我们有三种解决方法。1.向sy

2021-12-06 10:00:00 791

原创 pytorch中tensor、numpy.array、list三者互相转换

1.1 list 转 numpyndarray = np.array(list)1.2 numpy 转 listlist = ndarray.tolist()2.1 list 转 torch.Tensortensor=torch.Tensor(list)2.2 torch.Tensor 转 list先转numpy,后转listlist = tensor.numpy().tolist()3.1 torch.Tensor 转 numpyndarray = tensor.n

2021-11-25 22:23:27 1876

原创 如何开始一个深度学习项目

刚接触深度学习的小伙伴们应该有这样的疑惑:如何从零起步,从一个简单的idea开始,一步一步推进一个深度学习的学术项目,完成从idea到paper的成功转化?下面我们一起来看看慕尼黑工业大学的Matthias Niessner教授给大家的建议。1.怎么从零开始一个深度学习的项目?很多业内的研究人员都习惯性用流水线似的思路完成项目的起步,一步一步一个脚印,稳扎稳打地向前推进项目。然而,很多刚起步的新人研究者却经常在一些常见且但可规避的问题上踩坑。下面,我们一起来看看该如何合理地上手第一个深度学习

2021-10-26 18:58:29 654

原创 计算机顶会论文写作科研利器

Grammarly语法纠错之类的sci-hub:scihub最新可用地址找论文,得到bibtexLinggle 10^12- Language Reference Search Engines - NLPLab常用词语搭配Overleaf, Online LaTeX Editor在线latex论文写作神器Home Page - (manchester.ac.uk) 学术论文英文写作句式仓库大全 曼彻斯特大学...

2021-10-04 15:06:47 184 1

原创 linux命令的-和--参数问题

所有的参数/开关,都以 -h或者--help的结果为准。- 后面一般接缩写,-- 后面一般接全拼。比如-s和 --size;-a和 --all;-R和 --recursive……都是兼容不同用户习惯,同一参数的不同风格写法(这是软件开发者主动去兼容的结果,具体还需要看命令本身的用法,并非所有场合都这样)更详细的一个例子: mysql -h 192.168.1.2 -u root -p 等效于 mysql --host=192.168.1.2 --user=root --password 大部分情况.

2021-10-04 11:37:24 98

原创 git clone失败的问题,网络问题

使用国内镜像,目前已知Github国内镜像网站有github.com.cnpmjs.org也就是在git clone的时候把网址github.com后面加上cnpmjs.org,亲测解决问题。

2021-09-23 20:31:40 277

原创 pytorch3d在linux下安装

首先安装虚拟环境和依赖conda create -n pytorch3d python=3.8conda activate pytorch3dconda install -c pytorch pytorch=1.7.1 torchvision cudatoolkit=10.2conda install -c fvcore -c iopath -c conda-forge fvcore iopathwget https://github.com/NVIDIA/cub/archive/1.10.

2021-09-23 19:22:03 1140

原创 conda加入pytorch清华源

# for linuxconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

2021-09-23 18:31:55 218

原创 original_keras_version = f.attrs[‘keras_version‘].decode(‘utf8‘)AttributeError: ‘str‘ object has no

tf模型保存没问题,但导入就会报错original_keras_version = f.attrs['keras_version'].decode('utf8')AttributeError: 'str' object has no attribute 'decode'发现其实是h5py版本问题,重新安装一个版本的pip install h5py==2.10...

2021-07-20 11:42:48 242

Spark入门.docx

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2020-04-02

大数据处理hive深入详解.pdf

Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。

2020-03-27

人手一份核武器 - Hacking Team 泄露(开源)资料导览手册 _ WooYun知识库.pdf

事先声明本人并不是全栈安全工程师,仅仅是移动安全小菜一枚,所以对泄漏资料的分析难免会有疏忽或着错误,望各位围观的大侠手下留情。 首先来看安全界两大元老对Hacking Team(以下简称HT)被黑这个事件的看法: @tombkeeper: Stuxnet 让公众知道:“原来真有这种事”,Snowden 让公众知道:“原来这种事这么多”,Hacking Team 让公众知道:“原来这种事都正经当买卖干了”

2020-03-27

程序设计实践中文版

2016-10-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除