- 博客(33)
- 收藏
- 关注
RSS订阅
原创 triton 模型部署
Triton Inference server是Nvidia开源的模型部署服务的框架。源码地址：https://github.com/triton-inference-server用来加速GPU推理。triton支持tensorrt,tensorflow,pytorch等模型后端。部署流程:1.docker拉镜像docker pull nvcr.io/nvidia/tritonserver:<xx.yy>-py3xx.yy对应你想要的版本，我的是21.072.构
2021-08-12 14:00:29
3154
原创 Nebula offline解决
Nebula 3.0.0版本，需要在启动nebula.service 之后，进行ADD host <ip>:<port>，等待一个心跳的时间之后，就可以了。
2022-03-23 11:14:37
1001
原创 Nebula 集群搭建
1.准备机器2.同步时间安装流程：以nebula-3.0.0为例下载tar包。https://oss-cdn.nebula-graph.com.cn/package/3.0.0/nebula-graph-3.0.0.el7.x86_64.tar.gz?response-content-type=application/octet-stream下载后参考官方docInstall Nebula Graph with the tar.gz file - Nebula Gra
2022-03-15 18:05:06
1448
原创 Arangodb 联表Join
1.通过关联主键c.traits是Traits的主键，[*]表示，只查询Traits中的en属性。FOR c IN Characters RETURN DOCUMENT("Traits", c.traits)[*].en2.通过MergeFOR c IN Characters RETURN MERGE(c, { traits: DOCUMENT("Traits", c.traits)[*].en } )通过Merge可得到2个Collection的所有信息。
2022-03-01 19:02:12
487
原创 Arangodb SORT and limit
1.Limit限制结果数量FOR c IN Characters LIMIT 5 RETURN c.name从第2个开始（不包含第2个），往后5个。FOR c IN Characters LIMIT 2, 5 RETURN c.name2.Sort 根据某个属性排序。根据name排序，默认升序，从小到大。FOR c IN Characters SORT c.name LIMIT 10 RETURN c.name加上DE
2022-03-01 17:45:24
229
原创 Arangodb 条件查询
1.通过属性查询。FOR c IN Characters FILTER c.name == "Ned" RETURN c在所有Characters中，查找name等于"Ned"的数据。2.通过>,<查询。FOR c IN Characters FILTER c.age >= 13 RETURN c.name在所有Characters中，查找age大于等于13的数据。可以通过return,改变返回的数据类型。FOR c IN
2022-03-01 17:27:03
814
原创 Arangodb Basic CRUD
C(create) 创建，新增R(read) 读取，查询U(update) 改变D(delete) 删除1. 首先需要建立collections.add collectioncollection Name:Characters.collection Type:Document2.CreateINSERT { "name": "Ned", "surname": "Stark", "alive": true, "age": 41,
2022-03-01 17:09:20
163
原创 Arangodb初学
1 docker安装arangodbdocker run -v /arangodb_dataset:/data -e ARANGO_ROOT_PASSWORD=arangodb -p 8529:8529 -d arangodb/arangodb在网页上启动arangodb即可。输入账号密码，即可登陆。
2022-03-01 16:50:58
574
原创 推荐系统之FM，FFM
FM,FFM是推荐系统中常见的两种算法。 Clicked Publisher (P) Advertiser (A) Gender (G) Yes ESPN Nike Male FM的计算方式：wESPN · wNike + wESPN · wMale + wNike · wMale.FFM的计算方式：wESPN,A · wNike,P
2022-02-28 19:59:37
607
原创 Cypher 语句 初学
1创建节点：create (n:节点名称 {name:节点值})2.查找节点:match(n:节点名称) where n.name ="节点值" return n3.删除节点match (n:节点名称) where n.name='节点值' delete n4. 删除所有数据(仅限 少量数据删除)match (n) detach delete n...
2022-02-28 16:03:42
125
原创 动态规划算法之买卖股票时机系列
Leetcode有几道买卖股票时机的算法题。分别是Leetcode121,122,123,188,309,714.其中Leetcode 121,123,188分别是分1次，2次和K次买入卖出股票。给定一个整数数组prices ，它的第 i 个元素prices[i] 是一支给定的股票在第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你最多可以完成 k 笔交易。注意：你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。输入：k = 2, prices = [2,4,..
2021-08-31 17:17:52
103
原创 数据结构与算法之链表
链表是一种数据结构，可以通过链表的指针，得到所属的值和next的指针。Leetcode2,Leetcode445 关于链表的两数相加.'''给你两个非空 的链表，表示两个非负的整数。它们每位数字都是按照逆序的方式存储的，并且每个节点只能存储一位数字。请你将两个数相加，并以相同形式返回一个表示和的链表。你可以假设除了数字 0 之外，这两个数都不会以 0开头。输入：l1 = [2,4,3], l2 = [5,6,4]输出：[7,0,8]解释：342 + 465 = 807....
2021-08-24 19:30:55
106
原创 K8s+Flask+TF2.0部署
1.将模型导出，制作TF2.0+Flask服务。2.将flask服务文件，加入docker容器内部，提交新images.3.制作Dockerfile.将(2)中的镜像启动服务。From tf2_flask:v1WORKDIR /model_server/albert_predictEXPOSE 8101CMD ["python", "albert_predict.py"]docker build -t new_images:new_tag .3.利用K8S写出deployment
2021-08-09 11:07:33
279
原创 Flask WEB服务+客户端请求
import requestsimport jsonurl = "http://xxx.xxx.xxx.xxx:xxxxx"headers = {"Content-Type": "application/json"}posturl = url + "/web_route/"postdata = {'strings':'123'}r = requests.post(headers=headers,url=posturl, data=json.dumps(postdata))res = json.
2021-08-05 11:07:01
223
原创 动态规划（背包问题）
背包问题是一类很常见的可用动态规划来解决的问题。背包问题的描述:给定一个背包的体积为C，和一系列物品n.其中物品的价值[v1,v2,...,vn]和物品的体积[w1,w2,...wn].问：如何才能使装下的物品，价值最大。背包问题分为0-1背包和完全背包0-1背包是指每个物品只能装一次。完全背包则不限物品装入次数。0-1背包解法：定义状态 dp[i][j] = x ，在前 i 个物品，放入体积为j的背包，可装入的最大价值为 x所以考虑状态转移方程dp[i][j] ..
2021-07-08 16:09:30
107
原创 动态规划算法
动态规划算法，主要是指求解最优解时用的一种算法。在背包问题，最短路径问题，资源分配问题上有良好的应用效果。使用动态规划的前提条件是：满足 最优化原理和 无后效性最优化原理：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。无后效性将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过
2021-06-28 15:39:42
503
原创 深度优先搜索(DFS)
与bfs类似，也是一种图搜索算法，和bfs略有区别，主要是搜索的方式不同。主要是利用栈的方式。算法流程如下：1.创建栈2.将开始节点入栈。3.按照条件，搜索下一个节点，将满足条件的节点加入栈。重复3.直到满足终止条件。与bfs不同，dfs经常使用递归的方式去搜索。以迷宫搜索路径为例。采用非递归的方式，即在搜索时，用栈来保存结果。maze = [ [1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 0, 0, 1, 0, 0, 0, 1,
2021-06-28 14:10:07
53
原创 广度优先搜索算法（BFS)
1.广度优先搜索是个常用的图搜索方法。一般用队列的形式实现算法。算法步骤如下：1.创建队列2.弹出第一个节点，按照条件进行搜索。3.将满足条件的点，加入队列。4.重复步骤2和3，直到队列为空。python 版本伪代码：# 创建队列1. deque = []# 将开始节点加入队列2.deque.append(start_node)3.while deque: # 弹出第一个节点 current_node = d...
2021-06-24 20:32:29
1624
原创 pytorch 中的torch.nn.LSTM函数
LSTM是RNN的一种变体主要包括以下几个参数：input_size:输入的input中的参数维度，即文本中的embedding_dimhidden_size:隐藏层的维度num_layers:LSTM的层数，一般为2-3层，默认为1bias:是否使用偏置向，默认为Truebatch_first:是否输入的input第一个为batch_size,pytorch默认False,即输入的input的三维张量是seq_len放在第一个dropout:是否丢弃部分神经元,默认为0bidirectio
2021-03-22 17:28:06
579
原创 手把手教你解读Bert结构及代码分析
Bert是基于transformer 的Encoder作为特征提取器的一个预训练模型。首先来看Transformer结构图.transformer一开始是用来做机器翻译的模型。所以他是一个传统的Seq2Seq结构，包括一个Encoder和Decoder。而Bert只用到了Encoder的部分，及下图所示。包含N个相同的transformer-Encoder。每一个transfromer-Encoder包含两个子模块：Multi-Head-Attention和Feed-Forward
2021-03-12 15:03:21
691
原创 Doc2vec
Doc2Vec 是基于Word2Vec的思想。只是巧妙的加了一个paragraph id 以此来表示整个文档的向量分布。假设一篇文章共有N个段落，M个词汇。然后预测时采用给定一个paragraph id 预测该paragraph 下的一些词。...
2021-02-24 14:48:39
306
1
原创 Simhash算法+倒排索引搜索
最近在做大规模文本的相似度计算。发现传统的word2vec，等方法，把句子转化成词向量，然后两两计算，会造成很大的计算量，就查找资料发现simhash算法。simhash 被google用于去重网页。simhash主要方案分成5步。1.分词。我（2）爱（4）中国（10)，对一句话进行分词，并得到每个词的权重。2.hash。分别对{我，爱，中国}进行哈希函数计算。{我：1010，爱：0101，中国：1011}3.加权。对hash出的值进行计算。我的权重是2，所以对应的我的hash值，某位为
2021-02-23 14:27:55
885
原创 文本聚类kmeans
最近做一些文本挖掘的项目,其中用到了文本聚类相关算法,比如kmeans.就kmeans算法做一些简单记录.Kmeans是一种非常常见的聚类算法,算法的核心思想非常简单.1.给定K个类别,选取K个中心点2.对于任意其他数据,计算他与这K个中心点的距离,选取距离最近的那个中心点作为该点的类别.3.重新计算中心点,用同一类别的所有点的均值作为新的中心点,4.重复步骤2,直到新的中心点与旧的中心点的距离再某个设定阈值内即可.kmeans的几个关键问题:1.首先K值如何选取,.
2021-02-20 17:13:56
713
原创 boosting相关算法整理
Boosting 和 BaggingBoosting:通过将一些表现效果一般的模型通过特定方法进行组合来获得一个表现效果较好的模型。Bagging 是通过多次抽取数据，产生多个训练集，训练多个模型，最终在某个任务进行投票，每一个基准模型都是同样重要。Adaboost:针对boosting中如何训练1弱分类器的组合2改变样本的权值和分布两个问题作出回答1.Adaboost采取加权多数表决的方法，加大分类误差率小的弱分类器的权重，使其在最终的分类器表决中起较大作用，减..
2021-02-19 14:33:30
155
原创 hugging face 预训练模型
发现一个很好用的预训练模型网站：https://huggingface.co，里面有超级多的预训练模型，常见的bert,robert,gpt,electra,xlnet等。使用方法也很简单，https://huggingface.co/transformers/index.html。以bert为例：只需要下载https://huggingface.co中的预训练模型及配套的config,vocab等文件加载时只需要两步1.from transformers.models.bert.mo
2021-02-18 14:31:33
1100
2
原创 cbow 和 skip 解析
CBOW(continue bag of words)取滑动窗口大小为C的词，词汇表大小为V，构成输入的one_hot向量，W(c,v)矩阵，经过一个全连接层，W(v,n)，将V维的one hot 向量映射到N 维空间上再然后，用一个参数为W(n,v)的全连接层，将原来的N维空间，映射到C维空间，去预测中心词的概率。前向结构:1. input_layer C个V维的向量。2.input_layer ---> hidden_layer 全连接，将C个V维向量转化成C个N...
2020-11-23 17:35:09
255
原创 textcnn 一维卷积，文本分类算法详细解析
摘选自：https://blog.csdn.net/qq_22795223/article/details/105386474以textcnn为例有6个卷积核,每个卷积核的维度分别是2个（4，embedding_dim)，2个（3，embedding_dim)，2个（2.embedding_dim)，卷积的步长为1，因为1D 卷积是从上往下卷积，不同于2维卷积的从上往下，从左往右，因为对不同句子的相同位置上的词语卷积，没有什么意义。所以卷积完以后，得到的维度就是（seq_len-kernel
2020-11-17 11:32:01
1500
原创 NEO4J 初步学习
下载https://neo4j.com/download(windows 系统)安装:解压。运行：cmd窗口进入安装文件夹的bin目录，首先neo4j.bat console (控制台) neo4j.bat install-service(启动服务) neo4j.bat start(启动)打开浏览器：输入http://localhost:7474 进入Neo4j网页点击Jump i...
2018-09-28 15:28:15
293
原创 r语言聚类实现整理
#高斯混合library(mclust)mcplot(mc,iris[,1],what="classification",dimens=c(3,4))table(iris$Species, mc$classification)#K均值kmplot(km$cluster)table(km$cluster,iris$Species)plot(iris[c("
2017-04-17 14:43:26
587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人