- 博客(15)
- 资源 (2)
- 收藏
- 关注
原创 邹磊教授的Ganswer问答系统架构
邹磊教授的问答系统有两个阶段,第一个阶段是线下准备阶段,第二个是线上查询阶段。1、线下准备阶段构造语义词典供线上查询阶段使用:就是查找知识图谱中某个关系的规则集,不过直接通过dfs查找的规则集可能不会正确的代表这个关系的规则,如:孙子的一个关系集(儿子,儿子)(后代,后代),其中(后代,后代)就不能正确代表他的规则,解决的方法是过滤掉那些在别的关系规则集中也存在的规则。例如:孙子[(儿子,儿子)(后代,后代)],孙女[(儿子,女儿)(后代,后代)]。这两个关系都会过滤掉(后代,后代)这个规则,得到的规
2020-08-14 17:48:16 809 1
原创 docker初体验
docker就是一个可以移动,粘贴复制的linux系统,我们可以在这个系统中做任何配置,现在只是了解了一下docker,并没有应用到项目中去。docker中镜像相当于java中的一个类docker中容器相当于java中的一个实例,是docker运行的基本单元。docker学习连接如下:docker菜鸟教程大佬博客...
2020-08-12 21:59:13 139
原创 python实现word2vec(不使用框架)
参考两篇博客基础知识源码解析import timeimport numpy as npimport mathwordHash = {}wordNum = 0window = 2words = []vecSize = 100u = 0.1t = 500#将单词存入mapdef read_file(): global wordNum,wordHash,words f =open("test.txt",encoding="utf-8") sentences
2020-08-08 20:54:28 230
原创 Pytorch CNN手写数字识别
代码如下import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npimport matplotlib.image as mpimgfrom torch import optim#读入图片def readImg(path): img1 = mpimg.imread(path) return img1#定义CNN网络class Net(nn.Modu
2020-07-17 22:23:30 195
原创 Hadoop,zookeeper,hbase之间的关系
hbase篇Hbase是一个面向列族的存储器,即Hbase在存储的时候将所有的列族成员都一起放在HDFS中存储,存储图片的数据比较大,图片的元数据比较少,所以分成两个列族来储存。上图为Hbase数据模型,键值都是序列化的二进制,并且行根据键的二进制排序。区域是hbase在集群上分布数据的最小单位(区域就是一个表的连续n行)和HDFS类似,Hbase有一个master和n个regionserver,Hbase的master把区域分给regionserver,恢复regionserver的故障,regio
2020-07-17 15:03:38 1049
原创 Hadoop,zookeeper,hbase之间的关系
zookeeper篇zookeeper特性一个客户端做出修改,所有客户端可以立即发现修改内容初识zookeeperzookeeper的一个应用场景:有一组服务器提供某种服务,我们希望客户端都能找到其中一台服务器,然后我们需要维护这组服务器的成员列表,这个列表不能在某个服务器上,来避免单点故障,并且如果某个服务器出现故障,那么就需要从列表中删除改节点。这个场景不是一个被动的分布式结构,它能够在某个外部事件发生主动的修改数据结构,zookeeper提供的就是这种服务。下面介绍它是如何实现这种应用的。z
2020-07-17 10:37:16 1084
原创 hadoop,zookeeper,hbase之间的关系
Hadoop篇hadoop是分布式系统的一个文件系统,主要有3部分分别是hdfs,yarn,mapreducehdfshdfs是hadoop管理储存的实现。hdfs概念数据块:就像单机系统(一台PC)上的数据块一样,提供磁盘读写的最小单位,也就是磁盘读某个数据时会把改块的数据一次性全部读入。不过单机系统上的数据块大小为512字节,hdfs数据块大小为128MB。namenode和datanode:分布式系统储存和单机储存另一个不同就是,读取/写入某个数据时,分布式系统需要确定这个数据放在哪个主机
2020-07-16 16:53:55 1589
原创 Gremlin学习总结
Gremlin机制及语句分类Gremlin单步的输入是一个Traversal类,输出也是一个Traversal类,这样以流式进行传播。相关遍历对象则储存在这个类中,当进行下一个单步之前,大部分情况(例如下面的aggregate单步是一个例外)是只要相关的对象已经得到(没有都得到,因为从内存里面读数据是有时间的,所以采用并行的方式进行遍历),就进行下一个单步。单步有5类,但主要用到的只有4类,分别是map类,filter类,sideEffect类,branch类。map的函数常用的是 value(),用于
2020-06-25 19:35:04 1236
原创 hugeGraph配置文档之zookeeper,hbase,hugeGraph配置
一、zookeeper配置配置链接二、hbase配置配置链接注意配置过程中的JAVA_HOME,HADOOP_HOME是对应的JDK和hadoop目录,hbase只在master结点启动即可。三、hugeGraph配置官方文档注意hugegraph.properties中‘hbase’字母打错进行更改。...
2020-06-17 23:09:33 767
原创 hugeGraph配置文档之hadoop配置
一 JDK1.8下载及配置1 卸载自带版本JDKcentos7自带JDK,但它的JDK是阉割版的,并不能满足后续工作的需要,我们需要先将这些JDK删除,然后下载JDK1.8.查看JDK版本 rpm -qa | grep java若显示下面则需要卸载rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.
2020-06-17 22:58:54 237
原创 hugeGraph配置文档之基础网络配置
虚拟机网络配置静态IP的设置及主机名到IP的映射一、打开虚拟机的设置页面,设置虚拟机桥接模式如图:选择桥接模式(复制物理网络连接可选)二、桥接模式配置VMware虚拟机网络1 查看宿主机网络信息:ipconfig /all2. 配置CentOS7 ,将主机中对应的信息填入下面对应的位置,静态ip,子网掩码, 默认网关, DNSvi /etc/sysconfig/network-scripts/ifcfg-eno33说明: ifcfg-eno33文件每个人可能不同TYPE=Ether
2020-06-17 22:16:00 668
原创 ProjE初步心得
ProjEProjE是KGC中实体嵌入的一种尝试。它和TransE的主要区别如下:1、TransE是直接将训练的实体/关系向量进行相加运算,是在同一个空间里面。而ProjE则是将训练的实体/关系向量先分别投影到新的各自空间,然后进行相加运算在加上一个新的偏移组合向量。即De和Dr都是kk的对角矩阵来保证空间的正定,矩阵左乘可以投影到新空间,此时的e/r都是列向量,bc也是k维列向量,这些参...
2020-02-04 11:35:55 748
原创 ccf_数据中心spfa
ccf数据中心spfa我也是第一次考ccf,之前不会算法,考试的时候看这个题,思路就是求各个点到root的所有路径中最小的权值(每条路径最小的权值为这条路径所有边中的最大边值),这个题是最短路径的一个变形,最为一个小渣渣的我,只会spaf这一个算法,下面就是详细代码#include<iostream>#include<vector>#include<stri...
2019-01-22 10:23:42 504 1
中文文本分词PPT(详细讲解HMM)
2020-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人