自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 收藏
  • 关注

原创 pip 镜像

pip镜像

2022-08-16 17:09:03 229 1

原创 闲鱼垃圾评论检测2019CIKM《Spam Review Detection with Graph Convolutional Networks》

闲鱼垃圾评论检测2019CIKM《Spam Review Detection with Graph Convolutional Networks》

2022-07-27 20:49:27 606

原创 蚂蚁金服2018CIKM中GEM算法《Heterogeneous Graph Neural Networks for Malicious Account Detection》

简评:2018 CIKM,Ziqi Liu et al. 蚂蚁金服,具有较大参考意义的工业届 paper。roadmap: 作弊数据分析 -> 作弊规律总结 -> 针对性解决问题 -> 直观的方法 -> 更深层次的方法论文场景:支付宝金融风控中黑产用户的挖掘,用户粒度的黑产挖掘。解决的问题和方法具有整个反作弊领域的通用性,不限制于金融风控领域。通过对大量正常数据和黑产数据进行分析,发现大量作弊数据具有如下表现:那通过数据分析出黑产用户具有上述『设备聚集』和『行为聚集』的异常,那如何 挖掘出具有这类表现的黑

2022-06-21 15:34:46 789

原创 异常检测算法 —— LSCP: Locally Selective Combination in Parallel Outlier Ensembles

背景什么是 LSCP ?Locally Selective Combination in Parallel Outlier Ensembles(LSCP),一个多个异常检测算法的并行集成框架,可以对多个异常检测模型进行集成,提高性能与稳定性。什么是并行(parallel)的集成?如果多个模型之间是独立生成的,互不干扰,则能够并行执行,即并行的集成。它的对立面即是另一种集成方式即 —— 顺序...

2020-04-04 21:03:47 3371

原创 常用距离/相似度度量

给定样本集合 XXX,X=[xij]m×nX = [x_{ij}]_{m\times n}X=[xij​]m×n​,由 nnn 个 mmm 维特征组成的样本集合。其中 xi,xj∈X,xi=(xi1,xi2,...,xim),xj=(xj1,xj2,...,xjm)x_i, x_j \in {X}, x_i = (x_{i1}, x_{i2}, ..., x_{im}), x_j = (x_{j1...

2020-03-28 18:37:50 454

原创 局部异常因子算法 Local Outlier Factor(LOF)

每个样本的异常分数称为局部异常因子。异常分数是局部的,取决于相对于周围邻域的隔离程度。局部性由 k 近邻给出,并使用距离估计局部密度,通过将样本的局部密度与其邻居的局部密度进行比较,可以是被密度明显低于其邻居的样本,这些样本就被当作是异常样本点。算法原理 & LOF 算法相关定义:d(p,o)d(p, o)d(p,o):点 p 和点 o 之间的距离k-distance: 第 ...

2020-03-09 11:41:44 2951 2

原创 数据类别不平衡的有监督机器学习

1. 数据类别不平衡数据不平衡问题,是指在数据中,各个类别的数量不平衡的情况,简单的就而分类问题来讲,可能正类只有 10%,负类 90%,这种情况在很多场景下都存在,比如异常检测、反作弊等等。在这种数据分布下,如果直接进行有监督学习,那么即使是一个永远只预测为负类的学习器,它的准确率也有90%,但是这样的分类器在实际应用中毫无意义,所以针对类别不平衡的问题,需要进行特殊的处理。2. 类别不平衡...

2020-03-01 22:29:56 1016

原创 tensorflow 中 tf.strided_slice 函数理解

我们在工程中可能会利用 tensorflow 中的 strided_slice 函数来对向量进行切片,特别是常用于对多维向量的切片,但是官方说明比较晦涩,但是搞不清楚的话,在使用的时候,就不知道如何确定参数,所以在此先把这个函数搞清楚。它的函数原型如下:tf.strided_slice( input_, begin, end, strides=None, ...

2019-04-11 18:00:14 1413 1

原创 python实现 二叉树的前序中序后序遍历层次遍历——递归与非递归

前序遍历# ------ coding:utf-8 -------class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = Nonedef pre_order_recursive(root_node): if not r...

2018-08-19 15:18:43 1207

原创 Pandas学习笔记

pandas 读取 csv 文件import pandas as pdtest_df = pd.read_csv("./test.csv") # 将文件csv文件全部读取test_df = pd.read_csv(names=['a_from_lng','a_from_lat','b_from_lng','b_from_lat',],skiprows=10) # 读取这四列数据...

2018-04-24 15:40:19 290

原创 python版本排序算法

排序算法 平均时间复杂度 最坏时间复杂度 最好时间复杂度 空间复杂度 稳定性 冒泡排序 O(n2)O(n2)O(n^2) O(n2)O(n2)O(n^2) O(n)O(n)O(n) O(1)O(1)O(1) 稳定 选择排序 O(nlog2n)O(nlog2⁡n)O(n\log _2n) O(n2)O(n2)O(n^2) ...

2018-04-24 15:34:33 712

原创 hive sql 笔记

cast 强制类型转换 cast(info as BIGINT)concat_ws 字符串的链接 concat_ws('-',year,month,day)split 字符串的分割 split(info,',')lateral view explode 字符串的延展 lateral view explode(split(param['info'],'\;')) snTable as...

2018-03-05 14:46:41 209

原创 mac常用快捷方式

复制:command+C 粘贴:command+V文件剪切的复制:command+C 文件剪切粘贴:option+command+V文本剪切:command+X撤销:command+Z 反撤销:command+shift+Z全选:command+A保存:command+S查找:command+F关闭当前页面:command+W复制文件的路径:option+comm

2018-02-06 17:57:41 281

原创 pip install geohash 成功但import 失败

相信很多人都是利用这条命令来安装的pip install geohash会安装成功,但是当我们import的时候会出现错误“No module named geohash”查看一些人的解决办法是去修改python35/Lib/site-packages/目录下面的init.py文件 其实不用换这么复杂,只要把安装命令中的geohash 换成 python-geohash 即可pip install

2017-08-26 15:34:37 6640

原创 POI2Vec Geographical Latent Representation for Predicting Future Visitors 论文笔记

这篇论文是 2017 AAAI,主要是将 word2vec 的方法应用到了 POI 预测,就是把一个 POI 当成 word2vec 中的一个 word。然后在层次softmax中哈夫曼树的构造上面做了一点小的改变。文中出现的word2vec的资料来自:http://blog.csdn.net/itplus/article/details/37969519

2017-08-22 21:03:35 1549 7

原创 python 读取文件跳过第一行

跳过第一行读取数据,使用Python提供的itertools工具 import itertools import islice file = open(…) for line in islice(file, 1, None): …

2017-07-04 10:24:46 7991

原创 CitySepctrum: A Non-negative Tensor Factorization approach 论文笔记

这篇论文是 UbiComp 2014 的论文,UbiComp 是普适计算 CCF A 类会议,但是我从来没接触过普适计算,所谓总觉得这篇 paper 没干啥,就是提了一个 NTF(非负张量分解),然后把这个方法应用在了很多场景,重点在运用。paper 中讲了好几个制剂运用的例子,我这个 slide 里面只提了两个。

2017-06-29 10:35:41 468

原创 Adaptive large neighborhood search Heuristics for the vehicle routing problem with stochastic deman

这篇论文主要是交通大数据这方面的论文,收录在 Transportation Research Part E 2016,讲的是路径规划问题。

2017-06-29 10:07:34 569

原创 DeepSense: a Unified Learning Framework for Time-Series Mobile Sensing Data Processing 论文笔记

这篇论文主要将是利用深度学习框架,来实现移动感知数据的运用

2017-06-29 09:55:09 939

原创 tensorflow 错误杂记

ValueError:No gradients provided for any variable错误解释:要进行训练的变量与 Loss function 之间没有路径联系起来原因:很大可能是因为在 sess.run(train_step) 使用了 sess.run() 或者是 x.eval()修改方法:在训练之前,不要使用任何的 run ,修改代码,使得所有的 op 在最后的会话 ‘ses

2017-04-09 15:44:31 5119

原创 python随机取list中的元素

随机取 list 中的元素 random.sampleimport randoma = [1, 2, 3, 4, 5, 6, 7, 8, 9]b = random.sample(a, 5)

2017-04-08 15:46:55 69143

原创 python list 与 array 相互转换

list 转换为 array, tolist() a = np.array([2,3]) b = a.tolist()如图所示:array 转换为 list a = [2, 3]b = np.array(a)如图所示:

2017-04-06 19:17:14 1781

原创 全连接层与 softmax

全连接层一维一般常见的是这种一维的全连接层,下面这种图就很常见。全连接层,通俗的说就是前面一层的每个单元都与后面一层的相连接。如下图的绿色 Hidden 层,Hidden 层的每个单元都与 Input 层的所有单元相连接,同理 Output 层的与 Hidden 层的也是如此。(1*3)*(3*4)=(1*4)(1*4)*(4*2)=(1*2)即 Input 到 Hidden 这个全连接层中间的参数

2017-04-05 10:58:26 41383 1

原创 linux 命令学习笔记

离线后台跑程序: nohup python -u example.py >outfile.txt&将程序的输出保存在某个文件 python train.py example>outfile.txt查看当前正在运行的程序 ps -u查看用户 liuying 正在运行的程序 ps -u liuying终止某个程序的运行ps -u liuying (查看该程序的 PID) kill 2

2017-04-05 10:55:03 503

原创 tensorflow 循环神经网络RNN

在 tensorflow 中实现 LSTM 结构的循环神经网络的前向传播过程,即使用 BasicLSTMCell# 定义一个 LSTM 结构,LSTM 中使用的变量会在该函数中自动被声明lstm = tf.contrib.rnn.BasicLSTMCell(lstm_hidden_size)# 将 LSTM 中的状态初始化为全 0 数组,batch_size 给出一个 batch 的大小st

2017-04-05 10:54:08 655

原创 python 矩阵增加一行或一列

矩阵增加行np.row_stack() 与 np.column_stack()“` import numpy as npa = np.array([[4, 4,], [5, 5]])c = np.row_stack((a, [8,9])) d = np.column_stack((a, [8,9])) “`

2017-04-05 10:47:16 25860

原创 Markdown 编辑器

这两天在网上找了很多 markdown 编辑器,把自己搞得烦死了。我的主要诉求是能支持公式编辑、能导出为pdf。写了博客记录一下自己得到的结果。在线编辑器StackEdit这一款对我而言,还不错,支持LaTeX公式编辑,能导出为pdf。虽然说只有会员才能导出为pdf,但是因为是在线的,右键点击点击,选择pdf就可以保存为pdf。 - 编辑界面图 导出为pdf 最后保存为pdf的效果缺点:字

2017-04-05 10:46:37 544

原创 python环境下SVD++推荐系统wooflix的安装

wooflix可以在这个网站到下载到 [https://gustavonarea.net/blog/posts/korens-svd-python-implementation/] 下载完解压后如图 具体的使用方法可以按照文件中HOWTO.xhtml来做,在cmd命令框下进入到wooflix文件夹下的src文件下面,输入 python setup.py install进行安装,它会自动安

2016-05-15 21:21:34 1281 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除