- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 邹磊教授的Ganswer问答系统架构
邹磊教授的问答系统有两个阶段，第一个阶段是线下准备阶段，第二个是线上查询阶段。1、线下准备阶段构造语义词典供线上查询阶段使用：就是查找知识图谱中某个关系的规则集，不过直接通过dfs查找的规则集可能不会正确的代表这个关系的规则，如：孙子的一个关系集（儿子，儿子）（后代，后代），其中（后代，后代）就不能正确代表他的规则，解决的方法是过滤掉那些在别的关系规则集中也存在的规则。例如：孙子[（儿子，儿子）（后代，后代）],孙女[（儿子，女儿）（后代，后代）]。这两个关系都会过滤掉（后代，后代）这个规则，得到的规
2020-08-14 17:48:16
733
1
原创 docker初体验
docker就是一个可以移动，粘贴复制的linux系统，我们可以在这个系统中做任何配置，现在只是了解了一下docker，并没有应用到项目中去。docker中镜像相当于java中的一个类docker中容器相当于java中的一个实例，是docker运行的基本单元。docker学习连接如下：docker菜鸟教程大佬博客...
2020-08-12 21:59:13
126
原创 python实现word2vec（不使用框架）
参考两篇博客基础知识源码解析import timeimport numpy as npimport mathwordHash = {}wordNum = 0window = 2words = []vecSize = 100u = 0.1t = 500#将单词存入mapdef read_file(): global wordNum,wordHash,words f =open("test.txt",encoding="utf-8") sentences
2020-08-08 20:54:28
216
原创 Pytorch CNN手写数字识别
代码如下import osimport torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npimport matplotlib.image as mpimgfrom torch import optim#读入图片def readImg(path): img1 = mpimg.imread(path) return img1#定义CNN网络class Net(nn.Modu
2020-07-17 22:23:30
170
原创 Hadoop，zookeeper，hbase之间的关系
hbase篇Hbase是一个面向列族的存储器，即Hbase在存储的时候将所有的列族成员都一起放在HDFS中存储，存储图片的数据比较大，图片的元数据比较少，所以分成两个列族来储存。上图为Hbase数据模型，键值都是序列化的二进制，并且行根据键的二进制排序。区域是hbase在集群上分布数据的最小单位(区域就是一个表的连续n行)和HDFS类似，Hbase有一个master和n个regionserver，Hbase的master把区域分给regionserver，恢复regionserver的故障，regio
2020-07-17 15:03:38
1005
原创 Hadoop,zookeeper,hbase之间的关系
zookeeper篇zookeeper特性一个客户端做出修改，所有客户端可以立即发现修改内容初识zookeeperzookeeper的一个应用场景：有一组服务器提供某种服务，我们希望客户端都能找到其中一台服务器，然后我们需要维护这组服务器的成员列表，这个列表不能在某个服务器上，来避免单点故障，并且如果某个服务器出现故障，那么就需要从列表中删除改节点。这个场景不是一个被动的分布式结构，它能够在某个外部事件发生主动的修改数据结构，zookeeper提供的就是这种服务。下面介绍它是如何实现这种应用的。z
2020-07-17 10:37:16
1032
原创 hadoop,zookeeper,hbase之间的关系
Hadoop篇hadoop是分布式系统的一个文件系统，主要有3部分分别是hdfs，yarn，mapreducehdfshdfs是hadoop管理储存的实现。hdfs概念数据块：就像单机系统（一台PC）上的数据块一样，提供磁盘读写的最小单位，也就是磁盘读某个数据时会把改块的数据一次性全部读入。不过单机系统上的数据块大小为512字节，hdfs数据块大小为128MB。namenode和datanode：分布式系统储存和单机储存另一个不同就是，读取/写入某个数据时，分布式系统需要确定这个数据放在哪个主机
2020-07-16 16:53:55
1528
原创 Gremlin学习总结
Gremlin机制及语句分类Gremlin单步的输入是一个Traversal类，输出也是一个Traversal类，这样以流式进行传播。相关遍历对象则储存在这个类中，当进行下一个单步之前，大部分情况（例如下面的aggregate单步是一个例外）是只要相关的对象已经得到（没有都得到，因为从内存里面读数据是有时间的，所以采用并行的方式进行遍历），就进行下一个单步。单步有5类，但主要用到的只有4类，分别是map类，filter类，sideEffect类，branch类。map的函数常用的是 value（），用于
2020-06-25 19:35:04
1151
原创 hugeGraph配置文档之zookeeper，hbase，hugeGraph配置
一、zookeeper配置配置链接二、hbase配置配置链接注意配置过程中的JAVA_HOME,HADOOP_HOME是对应的JDK和hadoop目录，hbase只在master结点启动即可。三、hugeGraph配置官方文档注意hugegraph.properties中‘hbase’字母打错进行更改。...
2020-06-17 23:09:33
749
原创 hugeGraph配置文档之hadoop配置
一 JDK1.8下载及配置1 卸载自带版本JDKcentos7自带JDK，但它的JDK是阉割版的，并不能满足后续工作的需要，我们需要先将这些JDK删除，然后下载JDK1.8.查看JDK版本 rpm -qa | grep java若显示下面则需要卸载rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.
2020-06-17 22:58:54
215
原创 hugeGraph配置文档之基础网络配置
虚拟机网络配置静态IP的设置及主机名到IP的映射一、打开虚拟机的设置页面，设置虚拟机桥接模式如图：选择桥接模式（复制物理网络连接可选）二、桥接模式配置VMware虚拟机网络1 查看宿主机网络信息：ipconfig /all2. 配置CentOS7 ，将主机中对应的信息填入下面对应的位置，静态ip，子网掩码， 默认网关， DNSvi /etc/sysconfig/network-scripts/ifcfg-eno33说明： ifcfg-eno33文件每个人可能不同TYPE=Ether
2020-06-17 22:16:00
650
原创 ProjE初步心得
ProjEProjE是KGC中实体嵌入的一种尝试。它和TransE的主要区别如下:1、TransE是直接将训练的实体/关系向量进行相加运算，是在同一个空间里面。而ProjE则是将训练的实体/关系向量先分别投影到新的各自空间，然后进行相加运算在加上一个新的偏移组合向量。即De和Dr都是kk的对角矩阵来保证空间的正定，矩阵左乘可以投影到新空间，此时的e/r都是列向量，bc也是k维列向量，这些参...
2020-02-04 11:35:55
709
原创 ccf_数据中心spfa
ccf数据中心spfa我也是第一次考ccf，之前不会算法，考试的时候看这个题，思路就是求各个点到root的所有路径中最小的权值（每条路径最小的权值为这条路径所有边中的最大边值），这个题是最短路径的一个变形，最为一个小渣渣的我，只会spaf这一个算法，下面就是详细代码#include<iostream>#include<vector>#include<stri...
2019-01-22 10:23:42
456
1
中文文本分词PPT（详细讲解HMM）
2020-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人