自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

冲冲冲!

~~~~~kaggle expert,全球排名前1000,爱好参加各种kaggle天池等竞赛~~~~~

  • 博客(828)
  • 资源 (4)
  • 论坛 (3)
  • 收藏
  • 关注

原创 参加的一些比赛

“2020创青春·交子杯” 新网银行金融科技挑战赛 AI算法赛道 名次:10/1.5k

2020-08-14 16:12:46 554 2

原创 必知必会!常用矩阵求导和重要的矩阵

转自https://blog.csdn.net/a841454735/article/details/88608682,来备份一下,矩阵求导很重要!一、矩阵求导  一般来讲,我们约定,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。1、向量对向量求导2、标量对向量求导3、向量对标量求导其他的可以参考wiki:维基百科矩阵求导公...

2020-04-25 22:18:20 1342

原创 比特币白皮书 Bitcoin: A Peer-to-Peer Electronic Cash System
原力计划

摘要纯粹的点对点电子现金将允许在线支付直接从一方发送到另一方,而无需通过金融机构。数字签名提供了部分解决方案,但是如果仍然需要可信的第三方来防止重复开销,那么主要的好处就丧失了。我们提出了一个使用点对点网络解决双花问题的方案。网络时间戳通过将事务散列到基于散列的工作证明的持续链中,形成不重新进行工作证明就不能更改的记录。最长的链不仅可以作为所见证的事件序列的证据,而且可以证明它来自最大的CP...

2020-03-29 16:15:45 935

原创 程序员面试——C++工程师面试大全第一部分

1.static 关键字的作用1. 全局静态变量在全局变量前加上关键字 static,全局变量就定义成一个全局静态变量.静态存储区,在整个程序运行期间一直存在.初始化:未经初始化的全局静态变量会被自动初始化为 0(自动对象的值是任意的,除非他 被显式初始化);作用域:全局静态变量在声明他的文件之外是不可见的,准确地说是从定义之处开始,到文件结尾.2. 局部静态变量在局部...

2020-02-24 13:41:40 352

原创 pytorch中tensor、numpy.array、list三者互相转换

1.1 list 转 numpyndarray = np.array(list)1.2 numpy 转 listlist = ndarray.tolist()2.1 list 转 torch.Tensortensor=torch.Tensor(list)2.2 torch.Tensor 转 list先转numpy,后转listlist = tensor.numpy().tolist()3.1 torch.Tensor 转 numpyndarray = tensor.n

2021-11-25 22:23:27 949

原创 如何开始一个深度学习项目

刚接触深度学习的小伙伴们应该有这样的疑惑:如何从零起步,从一个简单的idea开始,一步一步推进一个深度学习的学术项目,完成从idea到paper的成功转化?下面我们一起来看看慕尼黑工业大学的Matthias Niessner教授给大家的建议。1.怎么从零开始一个深度学习的项目?很多业内的研究人员都习惯性用流水线似的思路完成项目的起步,一步一步一个脚印,稳扎稳打地向前推进项目。然而,很多刚起步的新人研究者却经常在一些常见且但可规避的问题上踩坑。下面,我们一起来看看该如何合理地上手第一个深度学习

2021-10-26 18:58:29 99

原创 计算机顶会论文写作科研利器

Grammarly语法纠错之类的sci-hub:scihub最新可用地址找论文,得到bibtexLinggle 10^12- Language Reference Search Engines - NLPLab常用词语搭配Overleaf, Online LaTeX Editor在线latex论文写作神器Home Page - (manchester.ac.uk) 学术论文英文写作句式仓库大全 曼彻斯特大学...

2021-10-04 15:06:47 67 1

原创 linux命令的-和--参数问题

所有的参数/开关,都以 -h或者--help的结果为准。- 后面一般接缩写,-- 后面一般接全拼。比如-s和 --size;-a和 --all;-R和 --recursive……都是兼容不同用户习惯,同一参数的不同风格写法(这是软件开发者主动去兼容的结果,具体还需要看命令本身的用法,并非所有场合都这样)更详细的一个例子: mysql -h 192.168.1.2 -u root -p 等效于 mysql --host=192.168.1.2 --user=root --password 大部分情况.

2021-10-04 11:37:24 35

原创 git clone失败的问题,网络问题

使用国内镜像,目前已知Github国内镜像网站有github.com.cnpmjs.org也就是在git clone的时候把网址github.com后面加上cnpmjs.org,亲测解决问题。

2021-09-23 20:31:40 38

原创 pytorch3d在linux下安装

首先安装虚拟环境和依赖conda create -n pytorch3d python=3.8conda activate pytorch3dconda install -c pytorch pytorch=1.7.1 torchvision cudatoolkit=10.2conda install -c fvcore -c iopath -c conda-forge fvcore iopathwget https://github.com/NVIDIA/cub/archive/1.10.

2021-09-23 19:22:03 112

原创 conda加入pytorch清华源

# for linuxconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

2021-09-23 18:31:55 25

原创 original_keras_version = f.attrs[‘keras_version‘].decode(‘utf8‘)AttributeError: ‘str‘ object has no

tf模型保存没问题,但导入就会报错original_keras_version = f.attrs['keras_version'].decode('utf8')AttributeError: 'str' object has no attribute 'decode'发现其实是h5py版本问题,重新安装一个版本的pip install h5py==2.10...

2021-07-20 11:42:48 125

原创 360极速浏览器连接远程notebook会出现问题,403 GET /api/kernels/

360极速浏览器如果使用过一段时间远程jupyter会出现这种连接问题,这其实是浏览器的问题。所以换了chrome浏览器之后成功运行。

2021-07-18 00:39:39 60

原创 sklearn报错DeprecationWarning: the imp module is deprecated in favour of importlib

其实这是sklearn的一个报错,因为版本的原因imp弃用了。网上有些回答是去改源码,但其实没必要。最简单一劳永逸的方法是安装最新版的sklearn,但不是pip install sklearn命令如下:pip install scikit-learn...

2021-07-15 23:30:19 184 2

原创 github push代码出错fatal: Authentication failed for ‘https:/

其实很多说是ssh keys设置错了,但其实未必,也要排查是否使用了代理之类的,我就是去掉代理就正确了。

2021-07-04 00:48:39 154

原创 震惊!原来leetcode竟然真的能中奖?

填了一个leetcode的有奖问卷,做了问卷后的抽奖,没想到真中了,还挺幸运的吧,希望多多努力,越努力越幸运!

2021-07-04 00:32:47 69

原创 pytorch3d报错:RuntimeError: Not compiled with GPU support.

现在pytorch3d出了问题,因为直接pip安装的是不支持gpu的,所以重新安装重新安装命令:pip install "git+https://github.com/facebookresearch/pytorch3d.git"

2021-07-03 12:42:13 759 1

原创 Solving environment: failed conda all InvalidVersionSpecError: Invalid version spec: =2.7报错

网上有的人推荐更改.condar文件内容,但我失败了有的人可能推荐重安装anaconda,但那样太麻烦conda update conda更新一下conda版本即可马上解决问题

2021-07-03 10:25:26 187 1

原创 error: numpy/arrayobject.h No such file or directory解决方法

sudo apt-get install python-numpy

2021-05-28 22:03:21 162

原创 编译文件出错fatal error: GL/glew.h: No such file or directory

执行以下命令即可sudo apt-get install build-essentialsudo apt-get install build-essential libgl1-mesa-devsudo apt-get install libglew-dev libsdl2-dev libsdl2-image-dev libglm-dev libfreetype6-devsudo apt-get install libglfw3-dev libglfw3

2021-05-28 21:14:04 567 2

原创 github因网络问题无法git clone解决办法

将原本的github仓库地址的https改为git,亲测解决,如果没解决可能是别的问题,继续寻找答案去吧~

2021-05-21 14:44:51 791 1

转载 概率中的先验分布,后验分布,似然估计的通俗理解

这几个概念可以用“原因的可能性”和“结果的可能性”的“先后顺序”及“条件关系”来理解。下面举例:隔壁老王要去10公里外的一个地方办事,他可以选择走路,骑自行车或者开车,并花费了一定时间到达目的地。在这个事件中,可以把交通方式(走路、骑车或开车)认为是原因,花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离,那么很大可能是骑车过去的,当然也有较小可能老王是个健身达人跑步过去的,或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离,那么很有可能他是走路过去的。若老

2021-04-09 18:34:08 145

转载 解决cannot open shared object file: No such file or directory

一、linux下调用动态库.so文件时提示:cannot open shared object file: No such file or directory解决办法:1、此时ldd xxx查看依赖缺少哪些库 libmysqlcppconn.so.7 => not found libboost_system.so.1.64.0 => not found2、设置变量LD_LIBRARY_PATHsudo gedit ~/.bashrc最后一行加上:e...

2021-03-10 02:26:14 1404 1

转载 编译成功,但引用之后报错undefined symbol: _ZN10tensorflow7strings6StrCatERKNS0_8AlphaNumE

修改 编译指令对于gcc/g++5.x 设置-D_GLIBCXX_USE_CXX11_ABI=1对于gcc/g++4.x 设置-D_GLIBCXX_USE_CXX11_ABI=0

2021-02-22 09:37:18 1896 2

原创 ubuntu重装显卡驱动全过程!所有选项的选择!

1.首先去下载适合的.run文件我的是https://download.nvidia.com/XFree86/Linux-x86_64/430.64/ 这可以从http://www.nvidia.cn/page/home.html官网找到合适的2.卸载掉旧版本的英伟达显卡驱动,打开terminal:sudo apt-get purge nvidia*3....

2021-02-21 12:20:41 742 1

转载 pytorch源码解析2——数据处理torch.utils.data

迭代器理解 Python 的迭代器是解读 PyTorch 中torch.utils.data模块的关键。在Dataset,Sampler和DataLoader这三个类中都会用到 python 抽象类的魔法方法,包括__len__(self),__getitem__(self)和__iter__(self)__len__(self): 定义当被len()函数调用时的行为,一般返回迭代器中元素的个数 __getitem__(self): 定义获取容器中指定元素时的行为,相当于...

2021-02-17 00:08:56 361

转载 pytorch之C++实现自定义算子

自定义算子对于输入 x,其输出为利用C++实现以上算子,总共只要实现两个文件:setup.py利用python中提供的setuptools模块完成事先编译流程,将写有算子的C++文件,编译成为一个动态链接库(在Linux平台是一个.so后缀文件),可以让python调用其中实现的函数功能。需要setup.py编写如下from setuptools import setupfrom torch.utils import cpp_extensionsetup( name='.

2021-02-16 16:42:21 597 2

转载 pytorch源码解析1——torch.optim:优化算法接口详解

1. 优化器 Optimizer1.0 基本用法优化器主要是在模型训练阶段对模型可学习参数进行更新, 常用优化器有 SGD,RMSprop,Adam等 优化器初始化时传入传入模型的可学习参数,以及其他超参数如lr,momentum等 在训练过程中先调用optimizer.zero_grad()清空梯度,再调用loss.backward()反向传播,最后调用optimizer.step()更新模型参数简单使用示例如下所示:import torchimport numpy...

2021-02-16 16:06:58 1621

转载 互联网公司面试——字节跳动算法

作者:字节跳动内推熊链接:https://zhuanlan.zhihu.com/p/263474711来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。项目相关:1. 有没有观察单个特征和标签之间的联系2. 每次加入一个特征,如果效果没有提升则不使用该特征。那怎么处理特征组合的问题。(组合后可能变好或者差)3. ID embedding 怎么做4. 项目中 Embedding 学习到的是什么,特征交叉的作用是什么5. 为什么使用 DeepFM 来.

2021-02-10 17:54:00 547

转载 互联网公司面试——推荐广告机器学习算法

zhanwei

2021-02-10 14:31:24 358

原创 Attention is all you need注意力机制代码解析

在这篇文章中,我以逐行实施的形式介绍了本文的“注释”版本。 我已经重新排序并从原始论文中删除了一些部分,并在全文中添加了评论。 本文档本身是一个有效的笔记本,应完全可用。 总共有400行库代码,可在4个GPU上每秒处理27,000个token。import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport math, copy, timefrom torch.autograd..

2021-02-10 14:24:08 496 2

转载 算法工程师面试备战笔记11_朴素贝叶斯分类某个类别概率为0怎么办

题目A1,A2,A3是三个特征,Y是分类结果。A1,A2,A3和Y 均只有0和1两种情况。A1 A2 A3 Y 1 1 0 1 0 1 1 1 1 0 1 0 0 1 0 0 0 0 1 0 1. 朴素贝叶斯(Naive Bayes)为什么朴素?朴素贝叶斯中的“朴素”二字突出了这个算法的简易性。朴素贝叶斯的简易性表现该算法基于一个很朴素的假设:所有的变量都是相互

2021-02-10 00:36:09 470

转载 算法工程师面试备战笔记12_决策树

什么是决策树决策树(decision tree)是一种基本的分类与回归方法。决策树是用样本的属性作为结点,用属性的取值作为分支的树结构。决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含的样本子集中信息量最大的属性。决策树的叶结点是样本的类别值。决策树是一种知识表示形式,它是对所有样本数据的高度概括决策树能准确地识别所有样本的类别,也能有效地识别新样本的类别。特征选择ID 年龄 有工作 有自己的房子 信贷情况 类别(是否个.

2021-02-10 00:26:24 90

转载 算法工程师面试备战笔记10_精确率(precision)和召回率(recall)

混淆矩阵True Positive(真正, TP):将正类预测为正类数. True Negative(真负 , TN):将负类预测为负类数. False Positive(假正, FP):将负类预测为正类数 → 误报 (Type I error). False Negative(假负 , FN):将正类预测为负类数 → 漏报 (Type II error).精确率(precision)定义为:需要注意的是精确率(precision)和准确率(accuracy)是不一样的,..

2021-02-10 00:12:51 160

转载 算法工程师面试备战笔记9_支持向量机(SVM)中的支持向量是什么意思

题目我们在下面的二元标签的数据集上训练一个线性SVM模型+:(−1,1),(1,−1),(−1,−1) −:(1,1),(2,0),(2,1) 这个模型中的支持向量是哪些?A. (−1,1),(1,1),(2,1) B. (−1,1),(−1,−1),(2,1) C. (−1,1),(1,−1),(1,1),(2,0)解析在画分割线区分红绿两类点的时候,可以问自己一个问题,你认不认为所有的点对于分割线的位置都是起决定性作用的?其实在特别远的区域,哪怕你增加10..

2021-02-09 22:34:31 396 1

转载 算法工程师面试备战笔记8_猜测这种划分最可能是什么聚类算法的结果

以下是各个算法的比较

2021-02-09 22:30:01 104

转载 算法工程师面试备战笔记6_监督学习和无监督学习

关键区别是否有监督(supervised),就看输入数据是否有标签(label)。输入数据有标签,则为(有)监督学习,没标签则为无监督学习。知乎的通俗回答作者:王丰链接首先看什么是学习(learning)?一个成语就可概括:举一反三。此处以高考为例,高考的题目在上考场前我们未必做过,但在高中三年我们做过很多很多题目,懂解题方法,因此考场上面对陌生问题也可以算出答案。机器学习的思路也类似:我们能不能利用一些训练数据(已经做过的题),使机器能够利用它们(解题方法)分析未知数据(高考的题目)?.

2021-02-09 22:18:16 176 1

转载 算法工程师面试备战笔记7_数据清洗与特征处理

数据清洗清洗标注数据,主要是数据采样和样本过滤数据采样数据采样,例如对于分类问题:选取正例,负例。对于回归问题,需要采集数据。对于采样得到的样本,根据需要,需要设定样本权重。当模型不能使用全部的数据来训练时,需要对数据进行采样,设定一定的采样率。采样的方法包括随机采样,固定比例采样等方法。样本过滤1.结合业务情况进行数据的过滤,例如去除crawler抓取,spam,作弊等数据。2.异常点检测,采用异常点检测算法对样本进行分析,常用的异常点检测算法包括:偏差检测,例如聚类,最近邻等

2021-02-09 22:13:46 110

转载 算法工程师面试备战笔记5_下面哪个不属于数据的属性类别

A 标称 B 序数 C 区间 D 相异关于数据的属性类别的介绍数据集由数据对象组成,一个数据对象代表一个实体。数据对象又称样本、实例、数据点或对象。属性(attribute)是一个数据字段,表示数据对象的一个特征。属性向量(或特征向量)是用来描述一个给定对象的一组属性。属性有不同类型:标称属性(nominal attribute)、二元属性(binary attribute)、序数属性(ordinal attribute)、 数值属性(numerical attribute)、离散属性与连续属性

2021-02-09 20:16:05 791

原创 算法工程师面试备战笔记4_余弦相似与欧氏距离有什么区别和联系

1)区别假设 2人对三部电影的评分分别是A = [3, 3, 3]和B = [5, 5, 5]那么2人的欧式距离是 根号12 = 3.46, A、B的余弦相似度是1(方向完全一致)。余弦值的范围是[-1, 1], 越接近于1,说明2个向量的方向越相近欧式距离和余弦相似度都能度量2个向量之间的相似度,但是欧式距离从2点之间的距离去考量,余弦相似从2个向量之间的夹角去考量。 从上例可以发出,2人对三部电影的评价趋势是一致的,但是欧式距离并不能反映出这一点,余弦相似则能够很好地反应。余弦...

2021-02-09 16:44:32 96

大数据处理hive深入详解.pdf

Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。

2020-03-27

人手一份核武器 - Hacking Team 泄露(开源)资料导览手册 _ WooYun知识库.pdf

事先声明本人并不是全栈安全工程师,仅仅是移动安全小菜一枚,所以对泄漏资料的分析难免会有疏忽或着错误,望各位围观的大侠手下留情。 首先来看安全界两大元老对Hacking Team(以下简称HT)被黑这个事件的看法: @tombkeeper: Stuxnet 让公众知道:“原来真有这种事”,Snowden 让公众知道:“原来这种事这么多”,Hacking Team 让公众知道:“原来这种事都正经当买卖干了”

2020-03-27

程序设计实践中文版

2016-10-08

Spark入门.docx

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2020-04-02

cold星辰的留言板

发表于 2020-01-02 最后回复 2020-04-22

求点赞blink

发表于 2019-10-11 最后回复 2019-10-12

咨询博客专家审核问题

发表于 2019-04-06 最后回复 2019-04-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除