- 博客(104)
- 收藏
- 关注
RSS订阅
原创 基于关联规则的推荐综述
基于关联规则的推荐基于关联规则的推荐思想类似基于物品的协同过滤推荐“啤酒与尿布”关联分析中最有名的例子就是“啤酒与尿布”。据报道，在美国沃尔玛超市会发现一个很有趣的现象：货架上啤酒与尿布竟然放在一起售卖，这看似两者毫不相关的东西，为什么会放在一起售卖呢？原来，在美国，妇女们经常会嘱咐她们的丈夫下班以后给孩子买一点尿布回来，而丈夫在买完尿布后，大都会顺手买回一瓶自己爱喝的啤酒（由此看出美国人爱喝酒）。商家通过对一年多的原始交易记录进行详细的分析，发现了这对神奇的组合。于是就毫不犹豫地将尿布与啤酒摆放
2020-08-30 23:22:53
971
1
原创 基于矩阵分解的CF算法综述
基于矩阵分解的CF算法一、矩阵分解发展史Traditional SVD:通常SVD矩阵分解指的是SVD（奇异值）分解技术，在这我们姑且将其命名为Traditional SVD（传统并经典着）其公式如下：Traditional SVD分解的形式为3个矩阵相乘，中间矩阵为奇异值矩阵。如果想运用SVD分解的话，有一个前提是要求矩阵是稠密的，即矩阵里的元素要非空，否则就不能运用SVD分解。很显然我们的数据其实绝大多数情况下都是稀疏的，因此如果要使用Traditional SVD，一般的做法是先用均值或者
2020-08-30 22:35:06
540
原创 推荐算法之Baseline
基于回归模型的协同过滤推荐如果我们将评分看作是一个连续的值而不是离散的值，那么就可以借助线性回归思想来预测目标用户对某物品的评分。其中一种实现策略被称为Baseline（基准预测）。Baseline：基准预测Baseline设计思想基于以下的假设：有些用户的评分普遍高于其他用户，有些用户的评分普遍低于其他用户。比如有些用户天生愿意给别人好评，心慈手软，比较好说话，而有的人就比较苛刻，总是评分不超过3分（5分满分）一些物品的评分普遍高于其他物品，一些物品的评分普遍低于其他物品。比如一些物品一被生产
2020-08-30 20:05:53
3184
3
原创 TensorFlow实现DeepFM
DeepFM原理讲解代码mport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers, optimizers, losses, regularizersfrom tensorflow.keras.layers import Embedding, Dropout, Flatten, Dense, Inputimport osos.environ['TF_CPP_MIN_LOG_LEV
2020-08-29 22:10:38
358
原创 tensorflow2 结合sklearn做网格搜索
from tensorflow import kerasimport numpy as np# load datasetfrom sklearn.datasets import fetch_california_housinghousing = fetch_california_housing()from sklearn.model_selection import train_test_splitx_train_all, x_test, y_train_all, y_test = trai
2020-08-26 15:32:35
838
原创 推荐算法-协同过滤（Collaborative Filtering）-相似度
推荐算法推荐模型构建流程推荐算法概述基于协同过滤的推荐算法协同过滤实现一 推荐模型构建流程Data(数据)->Features(特征)->ML Algorithm(机器学习算法)->Prediction Output(预测输出)数据清洗/数据处理数据来源显性数据Rating 打分Comments 评论/评价隐形数据Order history 历史订单Cart events 加购物车Page views 页面浏览Click-t
2020-08-26 09:21:35
2358
3
原创 基于TensorFlow2.0使用LSTM做机器翻译
import tensorflow as tfimport numpy as npimport unicodedataimport reraw_data = ( ('What a ridiculous concept!', 'Quel concept ridicule !'), ('Your idea is not entirely crazy.', "Votre idée n'est pas complètement folle."), ("A man's worth l
2020-07-24 15:09:16
775
原创 基于pytorch geometric 的GNN、GCN 的节点分类
# -*- coding: utf-8 -*-import osimport torchimport torch.nn.functional as Fimport torch.nn as nnfrom torch_geometric.datasets import Planetoidimport torch_geometric.nn as pyg_nnimport torch_geometric.transforms as T# load datasetdef get_data(fo
2020-07-19 12:51:01
1563
1
原创 pageRank到textRank
PageRank，又称网页排名、谷歌左侧排名、PR，是Google公司所使用的对其搜索引擎搜索结果中的网页进行排名的一种算法。佩奇排名本质上是一种以网页之间的超链接个数和质量作为主要因素粗略地分析网页的重要性的算法。其基本假设是：更重要的页面往往更多地被其他页面引用（或称其他页面中会更多地加入通向该页面的超链接）。 其将从A页面到B页面的链接解释为“A页面给B页面投票”，并根据投票来源（甚至来源的来源，即链接到A页面的页面）和投票对象的等级来决定被投票页面的等级。简单的说，一个高等级的页面可以提升其他低等
2020-06-23 19:01:01
219
原创 word2vec和word embedding
介绍首先，word2vec 和 word embedding 两者并不是平级的，其都属于 语言表示（Representation）的范畴。语言表示（Representation）是将人类的自然语言表示成计算机可以处理的数值形式，一般的方式有独热表示（one-hot Representation）、分布式表示（Distributed Reprensentation）等。分布式表示（Distributed Reprensentation）又包括基于矩阵、基于聚类、基于神经网络的方式，一般将 基于神经网络的
2020-06-23 18:33:03
2384
1
原创 Python 解析嵌套json
# !/usr/bin python# -*- coding: utf-8 -*-########################################################################## File Name: mapper.py# Created on : 2019-08-14 14:57:19# Author: yinao# Last Modified: 2019-08-14 14:57:19# Description:############
2021-10-24 23:11:15
1972
原创 Python之（axis=0 、axis=1、axis=-1）区分
https://www.cnblogs.com/rrttp/p/8028421.htmlhttps://blog.csdn.net/fangjian1204/article/details/53055219https://blog.csdn.net/weixin_42059276/article/details/106837795
2020-12-25 11:52:51
812
原创 How the embedding layer is trained in Keras Embedding layer
https://stats.stackexchange.com/questions/324992/how-the-embedding-layer-is-trained-in-keras-embedding-layer
2020-12-22 18:39:46
181
原创 Keras: why must an embedding layer be used only as the first layer?
https://stackoverflow.com/questions/54048388/keras-why-must-an-embedding-layer-be-used-only-as-the-first-layer
2020-12-22 18:27:32
142
原创 imdb数据使用普通的dnn+embeding做分类
import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import kerasprint(tf.__version__)print(sys.version_info)for module
2020-12-22 17:38:27
161
原创 python numpy reshape
https://blog.csdn.net/qq_29831163/article/details/90112000
2020-12-21 17:45:29
104
原创 tensorflow feature_column 讲解
官网写的很清楚我自己跑了一遍，贴个代码import numpy as npimport pandas as pdimport tensorflow as tffrom tensorflow import feature_columnfrom tensorflow.keras import layersfrom sklearn.model_selection import train_test_splitimport pathlibdataset_url = 'http://st
2020-12-21 14:56:44
319
原创 MaxPooling1D和GlobalMaxPooling1D的区别
import tensorflow as tffrom tensorflow import kerasinput_shape = (2, 3, 4)x = tf.random.normal(input_shape)print(x)y=keras.layers.GlobalMaxPool1D()(x)print("*"*20)print(y)''' """Global average pooling operation for temporal data. Examples:
2020-12-21 11:23:40
1705
原创 tensorflow dataset API
import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport tensorflow as tffrom tensorflow import keras## (x,y), (x_test, y_test) = keras.datasets.cifar100.load
2020-12-18 16:49:58
120
1
原创 tensorflow2 @tf.function
tensorflow2 @tf.function 文档如果是直接用keras 高层API的话应该用不到这玩意。
2020-12-17 16:30:55
212
原创 TensorFlow
s = tf.SparseTensor(indices = [[0, 1], [1, 0], [2, 3]], # 3* 4 tensor有值的地方的坐标 values = [1., 2., 3.], dense_shape = [3, 4])print(s)print(tf.sparse.to_dense(s))print("*"*20)s2 = s * 2.0print(s2)try: s3 = .
2020-12-17 15:33:58
81
原创 TensorFlow Ragged Tensors
https://tensorflow.google.cn/guide/ragged_tensor?hl=zh_cn
2020-12-17 15:21:37
169
原创 tensorflow 添加正则化项 以及callbacks
之前没找到 特此记录一下啊model=keras.models.Sequential([keras.layers.Flatten(input_shape=[28, 28]), keras.layers.Dense(300, activation='relu',kernel_regularizer=keras.regularizers.l2(1),bias_regularizer=keras.regularizers.l1(1)), .
2020-12-13 15:08:10
242
原创 tensorflow2 使用批归一化与dropout以及画图
import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport tensorflow as tfimport tensorflow.keras as kerasfrom sklearn.preprocessing import StandardScalerfashsion_minist = tf.keras.datasets.fashion_mnist(x_train_all, y_train_all),
2020-12-13 14:54:18
733
7
原创 tensorflow2-tensorboard使用
讲的很多，想展示什么指标都可以，只需要在metrics 处加上即可。model.compile(optimizer='adam', loss="sparse_categorical_crossentropy", metrics=["accuracy",keras.metrics.categorical_accuracy])https://www.cnblogs.com/chenhuabin/p/11736088.html...
2020-12-13 14:47:04
141
1
原创 Faiss相关
1 .安装更新condaconda update conda先安装mklconda install mklfaiss提供gpu和cpu版，根据服务选择cpu版本conda install faiss-cpu -c pytorchgpu版本 – 记得根据自己安装的cuda版本安装对应的faiss版本，不然会出异常。使用命令：nvcc -V 查看conda install faiss-gpu cudatoolkit=8.0 -c pytorch # For CUDA8conda insta
2020-10-27 23:10:40
1305
1
原创 社区发现算法LPA
什么是社区发现现实中存在着各种网络：社交网络，交通网络，交易网络，食物链。将这些行为转化为图的网络形式社区发现是一种聚类算法作用：精准定位群体，方便进行商品推荐，好友推荐，广告投放社区的种类：非重叠社区：任意两个社区的顶点之间没有交集重叠社区，在社区内部存在顶点之间的交集社区发现的常用算法LPA：Label Propagation Algorithm基于标签传播的非重叠社区发现算法COPRA：Community Overlap PRopagation Algorithm基于L
2020-10-22 18:57:29
1515
3
原创 用了都说好的Python、Java双实现的Graph图数据结构的定义
'''一个好用的Graph的定义权重，from Node到to Node【 weight,from ,to[12, 2, 4];[4, 2, 7]....】好的定义已经帮你解决了很多问题，比如这个图的出度入度直接就可以求python代码的图定义是我直接从下面的Java代码翻译过来的'''class Graph: def __init__(self): self.nodes={} self.edges=set()c
2020-09-03 09:25:05
177
原创 python yield 生成器-用法记录
####交替执行task2和task1def task1(n): for i in range(n): print("listening {}".format(i)) yield Nonedef task2(n): for i in range(n): print("woking {}".format(i)) yield Noneg1=task1(5)g2=task2(5)while True: try.
2020-09-02 23:28:35
101
原创 python property 用法说明
class Foo: def __init__(self,val): self.__NAME=val #将所有的数据属性都隐藏起来 @property def name(self): return self.__NAME #obj.name访问的是self.__NAME(这也是真实值的存放位置) @name.setter def name(self,value): if not isinstance(value,st
2020-09-02 23:10:11
66
原创 python异常解析
异常种类AttributeError 试图访问一个对象没有的树形，比如foo.x，但是foo没有属性xIOError 输入/输出异常；基本上是无法打开文件ImportError 无法引入模块或包；基本上是路径问题或名称错误IndentationError 语法错误（的子类） ；代码没有正确对齐IndexError 下标索引超出序列边界，比如当x只有三个元素，却试图访问x[5]KeyError 试图访问字典里不存在的键KeyboardInterrupt Ctrl+C被按下NameError 使
2020-09-01 15:42:38
102
原创 FP-Growth算法实现
频繁项集挖掘（二）FP-Growth算法FP-Growth（Frequent Patterns）相比于Apriori是一种更加有效的频繁项集挖掘算法，FP-Growth算法只需要对数据库进行两次扫描，而Apriori算法对于每次产生的候选项集都会扫描一次数据集来判断是否频繁，因此当数据量特别巨大，且扫描数据库的成本比较高时，FP-Growth的速度要比Apriori快。但是FP-Growth只能用于发现频繁项集，不能用于发现关联规则。FP-Growth原理分析FP-Growth算法实现步骤构建F
2020-08-30 23:25:49
738
原创 Apriori原理及其算法实现
关键规则挖掘算法（一）Apriori算法Apriori算法原理Apriori算法是著名的关联规则挖掘算法。假如我们在经营一家商品种类并不多的杂货店，我们对哪些经常在一起被购买的商品非常感兴趣。我们只有四种商品：商品0、商品1、商品2、商品3。那么所有可能被一起购买的商品组合都有哪些？这些商品组合可能著有一种商品，比如商品0，也可能包括两种、三种或所有四种商品。但我们不关心某人买了两件商品0以及四件商品2的情况，只关心他购买了一种或多种商品。下图显示了物品之间所有可能的组合：图中使用物品的编号0来
2020-08-30 23:20:22
2665
原创 基于矩阵分解的CF算法实现（二）：BiasSvd
基于矩阵分解的CF算法实现（二）：BiasSvdBiasSvd其实就是前面提到的Funk SVD矩阵分解基础上加上了偏置项。BiasSvd利用BiasSvd预测用户对物品的评分，kkk表示隐含特征数量：r^ui=μ+bu+bi+puk⃗⋅qki⃗=μ+bu+bi+∑k=1kpukqik\begin{aligned}\hat {r}_{ui} &=\mu + b_u + b_i + \vec {p_{uk}}\cdot \vec {q_{ki}}\\&=\mu + b_u + b
2020-08-30 22:33:24
409
原创 基于矩阵分解的CF算法实现（一）：（Funk SVD）LFM
基于矩阵分解的CF算法实现（一）：LFMLFM也就是前面提到的Funk SVD矩阵分解LFM原理解析LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户和物品，如下图：P矩阵是User-LF矩阵，即用户和隐含特征矩阵。LF有三个，表示共总有三个隐含特征。Q矩阵是LF-Item矩阵，即隐含特征和物品的矩阵R矩阵是User-Item矩阵，有P*Q得来能处理稀疏评分矩阵利用矩阵分解技术，将原始User-Item的评分矩阵（稠密/稀疏）分解为P和Q矩阵，然后
2020-08-30 22:25:47
1022
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人