- 博客(28)
- 收藏
- 关注
RSS订阅原创 闲鱼垃圾评论检测2019CIKM《Spam Review Detection with Graph Convolutional Networks》
闲鱼垃圾评论检测2019CIKM《Spam Review Detection with Graph Convolutional Networks》
2022-07-27 20:49:27
606
原创 蚂蚁金服2018CIKM中GEM算法《Heterogeneous Graph Neural Networks for Malicious Account Detection》
简评：2018 CIKM，Ziqi Liu et al. 蚂蚁金服，具有较大参考意义的工业届 paper。roadmap： 作弊数据分析 -> 作弊规律总结 -> 针对性解决问题 -> 直观的方法 -> 更深层次的方法论文场景：支付宝金融风控中黑产用户的挖掘，用户粒度的黑产挖掘。解决的问题和方法具有整个反作弊领域的通用性，不限制于金融风控领域。通过对大量正常数据和黑产数据进行分析，发现大量作弊数据具有如下表现：那通过数据分析出黑产用户具有上述『设备聚集』和『行为聚集』的异常，那如何 挖掘出具有这类表现的黑
2022-06-21 15:34:46
789
原创 异常检测算法 —— LSCP: Locally Selective Combination in Parallel Outlier Ensembles
背景什么是 LSCP ？Locally Selective Combination in Parallel Outlier Ensembles（LSCP），一个多个异常检测算法的并行集成框架，可以对多个异常检测模型进行集成，提高性能与稳定性。什么是并行（parallel）的集成？如果多个模型之间是独立生成的，互不干扰，则能够并行执行，即并行的集成。它的对立面即是另一种集成方式即 —— 顺序...
2020-04-04 21:03:47
3372
原创 常用距离/相似度度量
给定样本集合 XXX，X=[xij]m×nX = [x_{ij}]_{m\times n}X=[xij]m×n，由 nnn 个 mmm 维特征组成的样本集合。其中 xi,xj∈X,xi=(xi1,xi2,...,xim),xj=(xj1,xj2,...,xjm)x_i, x_j \in {X}, x_i = (x_{i1}, x_{i2}, ..., x_{im}), x_j = (x_{j1...
2020-03-28 18:37:50
454
原创 局部异常因子算法 Local Outlier Factor（LOF）
每个样本的异常分数称为局部异常因子。异常分数是局部的，取决于相对于周围邻域的隔离程度。局部性由 k 近邻给出，并使用距离估计局部密度，通过将样本的局部密度与其邻居的局部密度进行比较，可以是被密度明显低于其邻居的样本，这些样本就被当作是异常样本点。算法原理 & LOF 算法相关定义：d(p,o)d(p, o)d(p,o)：点 p 和点 o 之间的距离k-distance: 第 ...
2020-03-09 11:41:44
2952
2
原创 数据类别不平衡的有监督机器学习
1. 数据类别不平衡数据不平衡问题，是指在数据中，各个类别的数量不平衡的情况，简单的就而分类问题来讲，可能正类只有 10%，负类 90%，这种情况在很多场景下都存在，比如异常检测、反作弊等等。在这种数据分布下，如果直接进行有监督学习，那么即使是一个永远只预测为负类的学习器，它的准确率也有90%，但是这样的分类器在实际应用中毫无意义，所以针对类别不平衡的问题，需要进行特殊的处理。2. 类别不平衡...
2020-03-01 22:29:56
1016
原创 tensorflow 中 tf.strided_slice 函数理解
我们在工程中可能会利用 tensorflow 中的 strided_slice 函数来对向量进行切片，特别是常用于对多维向量的切片，但是官方说明比较晦涩，但是搞不清楚的话，在使用的时候，就不知道如何确定参数，所以在此先把这个函数搞清楚。它的函数原型如下：tf.strided_slice( input_, begin, end, strides=None, ...
2019-04-11 18:00:14
1413
1
原创 python实现 二叉树的前序中序后序遍历层次遍历——递归与非递归
前序遍历# ------ coding:utf-8 -------class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = Nonedef pre_order_recursive(root_node): if not r...
2018-08-19 15:18:43
1207
原创 Pandas学习笔记
pandas 读取 csv 文件import pandas as pdtest_df = pd.read_csv("./test.csv") # 将文件csv文件全部读取test_df = pd.read_csv(names=['a_from_lng','a_from_lat','b_from_lng','b_from_lat',],skiprows=10) # 读取这四列数据...
2018-04-24 15:40:19
290
原创 python版本排序算法
排序算法 平均时间复杂度 最坏时间复杂度 最好时间复杂度 空间复杂度 稳定性 冒泡排序 O(n2)O(n2)O(n^2) O(n2)O(n2)O(n^2) O(n)O(n)O(n) O(1)O(1)O(1) 稳定 选择排序 O(nlog2n)O(nlog2n)O(n\log _2n) O(n2)O(n2)O(n^2) ...
2018-04-24 15:34:33
712
原创 hive sql 笔记
cast 强制类型转换 cast(info as BIGINT)concat_ws 字符串的链接 concat_ws('-',year,month,day)split 字符串的分割 split(info,',')lateral view explode 字符串的延展 lateral view explode(split(param['info'],'\;')) snTable as...
2018-03-05 14:46:41
209
原创 mac常用快捷方式
复制：command+C 粘贴：command+V文件剪切的复制：command+C 文件剪切粘贴：option+command+V文本剪切：command+X撤销：command+Z 反撤销：command+shift+Z全选：command+A保存：command+S查找：command+F关闭当前页面：command+W复制文件的路径：option+comm
2018-02-06 17:57:41
281
原创 pip install geohash 成功但import 失败
相信很多人都是利用这条命令来安装的pip install geohash会安装成功，但是当我们import的时候会出现错误“No module named geohash”查看一些人的解决办法是去修改python35/Lib/site-packages/目录下面的init.py文件 其实不用换这么复杂，只要把安装命令中的geohash 换成 python-geohash 即可pip install
2017-08-26 15:34:37
6642
原创 POI2Vec Geographical Latent Representation for Predicting Future Visitors 论文笔记
这篇论文是 2017 AAAI，主要是将 word2vec 的方法应用到了 POI 预测，就是把一个 POI 当成 word2vec 中的一个 word。然后在层次softmax中哈夫曼树的构造上面做了一点小的改变。文中出现的word2vec的资料来自：http://blog.csdn.net/itplus/article/details/37969519
2017-08-22 21:03:35
1550
7
原创 python 读取文件跳过第一行
跳过第一行读取数据，使用Python提供的itertools工具 import itertools import islice file = open(…) for line in islice(file, 1, None): …
2017-07-04 10:24:46
7991
原创 CitySepctrum: A Non-negative Tensor Factorization approach 论文笔记
这篇论文是 UbiComp 2014 的论文，UbiComp 是普适计算 CCF A 类会议，但是我从来没接触过普适计算，所谓总觉得这篇 paper 没干啥，就是提了一个 NTF（非负张量分解），然后把这个方法应用在了很多场景，重点在运用。paper 中讲了好几个制剂运用的例子，我这个 slide 里面只提了两个。
2017-06-29 10:35:41
468
原创 Adaptive large neighborhood search Heuristics for the vehicle routing problem with stochastic deman
这篇论文主要是交通大数据这方面的论文，收录在 Transportation Research Part E 2016，讲的是路径规划问题。
2017-06-29 10:07:34
570
原创 DeepSense: a Unified Learning Framework for Time-Series Mobile Sensing Data Processing 论文笔记
这篇论文主要将是利用深度学习框架，来实现移动感知数据的运用
2017-06-29 09:55:09
939
原创 tensorflow 错误杂记
ValueError：No gradients provided for any variable错误解释：要进行训练的变量与 Loss function 之间没有路径联系起来原因：很大可能是因为在 sess.run(train_step) 使用了 sess.run() 或者是 x.eval()修改方法：在训练之前，不要使用任何的 run ，修改代码，使得所有的 op 在最后的会话 ‘ses
2017-04-09 15:44:31
5119
原创 python随机取list中的元素
随机取 list 中的元素 random.sampleimport randoma = [1, 2, 3, 4, 5, 6, 7, 8, 9]b = random.sample(a, 5)
2017-04-08 15:46:55
69143
原创 python list 与 array 相互转换
list 转换为 array， tolist() a = np.array([2,3]) b = a.tolist()如图所示：array 转换为 list a = [2, 3]b = np.array(a)如图所示：
2017-04-06 19:17:14
1781
原创 全连接层与 softmax
全连接层一维一般常见的是这种一维的全连接层，下面这种图就很常见。全连接层，通俗的说就是前面一层的每个单元都与后面一层的相连接。如下图的绿色 Hidden 层，Hidden 层的每个单元都与 Input 层的所有单元相连接，同理 Output 层的与 Hidden 层的也是如此。(1*3)*(3*4)=(1*4)(1*4)*(4*2)=(1*2)即 Input 到 Hidden 这个全连接层中间的参数
2017-04-05 10:58:26
41383
1
原创 linux 命令学习笔记
离线后台跑程序： nohup python -u example.py >outfile.txt&将程序的输出保存在某个文件 python train.py example>outfile.txt查看当前正在运行的程序 ps -u查看用户 liuying 正在运行的程序 ps -u liuying终止某个程序的运行ps -u liuying （查看该程序的 PID） kill 2
2017-04-05 10:55:03
503
原创 tensorflow 循环神经网络RNN
在 tensorflow 中实现 LSTM 结构的循环神经网络的前向传播过程，即使用 BasicLSTMCell# 定义一个 LSTM 结构，LSTM 中使用的变量会在该函数中自动被声明lstm = tf.contrib.rnn.BasicLSTMCell(lstm_hidden_size)# 将 LSTM 中的状态初始化为全 0 数组，batch_size 给出一个 batch 的大小st
2017-04-05 10:54:08
655
原创 python 矩阵增加一行或一列
矩阵增加行np.row_stack() 与 np.column_stack()“` import numpy as npa = np.array([[4, 4,], [5, 5]])c = np.row_stack((a, [8,9])) d = np.column_stack((a, [8,9])) “`
2017-04-05 10:47:16
25861
原创 Markdown 编辑器
这两天在网上找了很多 markdown 编辑器，把自己搞得烦死了。我的主要诉求是能支持公式编辑、能导出为pdf。写了博客记录一下自己得到的结果。在线编辑器StackEdit这一款对我而言，还不错，支持LaTeX公式编辑，能导出为pdf。虽然说只有会员才能导出为pdf，但是因为是在线的，右键点击点击，选择pdf就可以保存为pdf。 - 编辑界面图 导出为pdf 最后保存为pdf的效果缺点：字
2017-04-05 10:46:37
545
原创 python环境下SVD++推荐系统wooflix的安装
wooflix可以在这个网站到下载到 [https://gustavonarea.net/blog/posts/korens-svd-python-implementation/] 下载完解压后如图 具体的使用方法可以按照文件中HOWTO.xhtml来做，在cmd命令框下进入到wooflix文件夹下的src文件下面，输入 python setup.py install进行安装，它会自动安
2016-05-15 21:21:34
1281
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人