AI
SeasonRun
君子不器
展开
-
爬取双色球数据做频次分析
【代码】爬取双色球数据做频次分析。原创 2023-08-31 19:59:57 · 192 阅读 · 0 评论 -
爬取双色球数据
【代码】爬取双色球数据。原创 2023-08-30 23:17:52 · 85 阅读 · 0 评论 -
python 接入GoogleAuth
经常会用到GoogleAuth作为二次验证码,就扒了代码看看这块逻辑如何实现的,做个笔记。使用谷歌身份验证器扫描链接生成的二维码即可绑定。原创 2023-08-06 16:50:35 · 407 阅读 · 0 评论 -
知识图谱实例简介
语言知识图谱WordNet:155, 327个单词,同义词集117,597个,同义词集之间由22种关系连接;from nltk.corpus import wordnet as wncolor = wn.synsets('white')print(color)[Synset('white.n.01'), Synset('white.n.02'), Synset('white.n.03...原创 2020-04-26 15:34:29 · 1757 阅读 · 0 评论 -
python wordnet引用问题
最近项目要用到Wordnet,加了以下引用后报无法找到,查询发现之前安装了nltk,而要用到Wordnet需要安装nltk_data,安装nltk_data OK。from nltk.corpus import wordnetWordnet是一个词库,包含了单词及关系,可以获取同义词、反义词等等,简单示例如下:>>>wordnet.lemma('whit...原创 2020-04-25 10:35:04 · 357 阅读 · 0 评论 -
医疗知识图谱智能问答系统学习总结(一)-Neo4j/Python
不足:1.当检索结果为空时会报错,加结果判断,如检索结果为空则返回未检索到结果;2.当检索内容与肝病无关时只能返回初始化答案,增加近似推荐,即找到与问题最相近的答案返回给用户;...原创 2020-04-11 20:27:47 · 5707 阅读 · 6 评论 -
python插入Neo4j数据报错The client is unauthorized due to authentication failure
在执行插入语句时,报以下错误,查询发现是dbms.security.auth_enabled设置为true,只需要修改为false,取消验证即可。The client is unauthorized due to authentication failure...原创 2020-03-30 13:09:51 · 1748 阅读 · 0 评论 -
Neo4j图库算法
Neo4j图库算法包含以下6种链路预测算法:下面创建一个图谱,实践各个算法。UNWIND [["A", "C"], ["A", "B"], ["B", "D"], ["B", "C"], ["B", "E"], ["C", "D"]] AS pairMERGE (n1:Node {name: pair[0]})MERGE (n2:Node {name: pair[1...原创 2020-02-12 14:00:14 · 3373 阅读 · 1 评论 -
Neo4j调用APOC算法库
1.APOC算法库安装如果安装的时候遇到报错提示“没有适配的版本”,那就要参照下表检查下当前Neo4j的版本有没有与之相适配的APOC版本,如没有建议升级neo4j版本,我这里使用的是最新版本,可以直接在上图plugin页面安装;2.调用APOC算法首先查看下APOC库有哪些算法,如下图使用语句CALL dbms.procedures() YIELD name,signat...原创 2020-02-10 11:55:33 · 6061 阅读 · 0 评论 -
古诗词知识图谱(一)
目标:开发一个古诗词智能问答应用,接入微信,可以在微信端利用文字或语音方式实现古诗词接龙。设计知识图谱结构; 爬取古诗词写入Neo4j;代码如下:from bs4 import BeautifulSoupimport requestsfrom urllib.request import urlopen,urlparse,urlsplit,Requestimport urll...原创 2020-01-14 12:19:37 · 4559 阅读 · 6 评论 -
yelp dataset导入Neo4j详解(二)
前序文章讲解了yelp dataset导入Neo4j的详细步骤,但实际操作过程中可能会遇到各种问题。为了避免中间环节遇到的各类问题,选择直接读取json文件,解析需要的字段导入Neo4j。下文附上详细代码。注意:1、字段可能重复,所以代码中设置了独立的set用于去除重复的节点、关系导入;2、可能会遇到特殊字符,比如名字或地址之间包含',"name":"Marco's Pizza",...原创 2020-01-14 10:24:55 · 2086 阅读 · 5 评论 -
yelp dataset导入Neo4j详解
Neo4j图算法第九章介绍了在Yelp数据集上进行算法实践,今天先介绍如何将Yelp数据集导入Neo4j.1.Yelp数据集可以在https://www.yelp.com/dataset下载,只需要填写简单的信息即可,也可以在https://pan.baidu.com/s/1n3PXAtOWqj1cS0XajZyruA下载;2.解压后会得到如下图左侧json文件,下一步要将json文件转换...原创 2020-01-09 10:53:30 · 3312 阅读 · 7 评论 -
知识问答KBQA简介
目前基于深度学习的方法无须像模板方法那样人工编写大量模板,也无须像语义分析方法中人工编写大量规则,整个过程都是自动进行。但缺点也很明显,它目前只能处理简单问题和单边关系,对于复杂问题不如两种传统方法效果好。...原创 2019-12-25 14:17:02 · 4446 阅读 · 0 评论 -
Python爬取古诗词写入Neo4j
最近准备自己动手做一个诗词智能问答的工具,首先爬取古诗词,以作者、合称、朝代、分类、诗词标题为节点,以作者live_in朝代,作者write诗词,诗词belong分类为关系,创建知识图谱。代码如下:from bs4 import BeautifulSoupimport requestsfrom urllib.request import urlopen,urlparse,urlspli...原创 2019-12-24 09:13:23 · 2668 阅读 · 1 评论 -
python在线爬取数据导入Neo4j创建知识图谱
近期学习Neo4j,以豆瓣top250数据为研究对象,实现python在线爬取数据写入Neo4j创建知识图谱,下文详细介绍步骤。1、知识图谱设计通过分析网页,爬取网页可以得到movie、country、type、time、director、actor、score等信息,此处我将movie、country、type、time、director、actor作为节点,而score作为movie的...原创 2019-11-27 08:57:53 · 7670 阅读 · 0 评论 -
Zookeeper集群配置详解
背景:3台linux redhat7.2, zookeeper-3.4.14,jdk1.8.0_2211.将zookeeper-3.4.14上传到服务器,配置环境变量;export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.14export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH2....原创 2019-11-25 14:31:40 · 1911 阅读 · 0 评论 -
开源通用中文知识图谱导入Neo4j
前段时间思知发布了有史以来最为全面的中文知识图谱数据集(详见https://www.ownthink.com/、https://github.com/ownthink/KnowledgeGraphData),下载地址如下:百度网盘(链接: https://pan.baidu.com/s/1LZjs9Dsta0yD9NH-1y0sAw 提取码: 3hpp )注:解压密码是:https://w...原创 2019-11-21 15:46:25 · 2555 阅读 · 0 评论 -
Neo4j常见命令增删改查解析
近期在学习知识图谱,选用的是Neo4j数据库,常见命令及操作总结如下:1、安装Neo4j Desktop就不赘述了,进入以下界面,要创建一个一个数据库直接点击Add Graph,就可以创建一个Graph,可以看到当前界面显示的Graph状态是“Active”,要停止可以点击“Stop”,点击“Manage”可对Graph进行管理。进入Manage界面,有开启、停止、重启按钮,Open ...原创 2019-11-19 11:04:49 · 4067 阅读 · 3 评论 -
Neo4j节点和关系创建问题记录(一)
近期学习Neo4j时碰到以下问题,做个记录:1、创建了节点之后想要创建关系,但发现生成了新的空节点原因是创建关系时没有指定原有的节点,所以创建关系时就将()内的当做新节点了,比如要为两个已有节点Season、Jenny创建一个friends的关系,直接执行CREATE (Season)-[:friends]->(Jenny)的到的结果是而要对已有节点创建关系,则需要用如下命令...原创 2019-11-19 10:06:29 · 5584 阅读 · 0 评论 -
三种创建Neo4j知识图谱方法详解
使用Neo4j创建知识图谱有以下三种方式:1、通过Neo4j Desktop导入数据集;2、通过Python py2neo graph.run()命令执行create语句3、通过Python py2neo graph.create()命令执行创建节点及关系根据目前实践,第一种、第二种适合批量操作,而第二种更适合在线操作,下面将一一详细介绍。一、通过Neo4j Desktop导入...原创 2019-11-19 09:32:54 · 14708 阅读 · 4 评论 -
neo4j desktop下载及安装详解
昨天安装了Neo4j Browser,但在导入数据时遇到各种问题,于是着手安装Neo4j Desktop,但在下载的过程中就遇到了各种问题,总是下载中断,一开始是在官网下载的(https://neo4j.com/artifact.php?name=neo4j-desktop-offline-1.2.3-setup.exe),实在不行又找到了(ftp://neo4j.55555.io/neo4j-d...原创 2019-11-14 11:41:07 · 10508 阅读 · 10 评论 -
Neo4j图数据库安装
Neo4j 是目前最流行的图形数据库,支持完整的事务,图形数据库也就意味着它的数据并非保存在表或集合中,而是保存为节点以及节点之间的关系。图是由顶点(Vertex),边(Edge)和属性(Property)组成的,顶点和边都可以设置属性,顶点也称作节点,边也称作关系,每个节点和关系都可以有一个或多个属性。最近项目需要用到图数据库,Neo4j是目前比较主流的图数据库,支持34.4亿各节点,344...原创 2019-11-13 09:57:58 · 1533 阅读 · 0 评论 -
遍历图算法
遍历图算法主要分以下几类:原创 2019-10-28 22:09:27 · 1081 阅读 · 0 评论 -
常见排序算法总结
常见排序算法总结如下:排序方法 Name 平均情况 最好情况 最坏情况 辅助空间 稳定性 冒泡排序 BubbleSort O(n^2) O(n) O(n^2) O(1) 稳定 简单选择排序 SimpleSelectionSort O(n^2) O(n^2) O(n^2) O(...原创 2019-10-28 14:33:12 · 828 阅读 · 0 评论 -
概率分类器-朴素贝叶斯(NaiveBeyesianClassification,NB)分类算法解析
所谓概率分类器,即计算待分类对象属于每个类别的概率,选择最大概率输出。朴素贝叶斯(NaiveBeyesianClassification,NB)公式:其中代表先验概率;接下来用一个实例来解释如何计算该分类概率。假设有1000篇文章,其中军事300篇,科技200篇,医疗500篇;则=p(军事)=300/1000=0.3=p(科技)=200/1000=0.2=p(医...原创 2019-09-05 23:20:55 · 2361 阅读 · 2 评论 -
No handles with labels found to put in legend.
最近在计算AUC时,最后的图片无法输出,提示“No handles with labels found to put in legend.”,检查发现是没有定义图例,于是增加图例后解决。37 plt.figure()38 plt.plot(recall, precision, label='AUC')39 plt.xlim([0.0, 1.0])40 plt.ylim([0.0,...原创 2019-09-10 10:03:27 · 2147 阅读 · 0 评论 -
相似性计算-基于余弦定理(二)
如前序文章所述,本章讲述通过分词、去标点符号、去除黑名单、统计词频、获取词汇集、构建特征向量,最后利用余弦定理计算相似性。相对而言,该相似性计算逻辑、算法简单,能够快速得到两篇文章的相似性,但用途较局限,准确率待提高,后面会逐步比较其它相似性算法。(可参考http://bigdata-madesimple.com/implementing-the-five-most-popular-simil...原创 2019-09-20 10:41:19 · 323 阅读 · 1 评论 -
神经网络之数据拟合
近期学习神经网络,初步实现利用神经网络对训练集进行拟合。import tensorflow as tfimport numpy as npimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import matplotlib.pyplot as plt#定义在(-0.5,0.5)之间随机生成50个数,并转换为50*1矩阵x_data ...原创 2019-09-24 14:30:07 · 7822 阅读 · 0 评论 -
神经网络之数据拟合(二)
本文在前一章节的基础上做了如下改进:1、步长与训练次数由定值改为取值范围,即在步长(0.01,1)之间训练次数在(1,100000)之间选取最优结果;2、增加计时器,关注耗时;import tensorflow as tfimport numpy as npimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import m...原创 2019-09-25 08:27:04 · 1883 阅读 · 0 评论 -
python矩阵乘积运算(multiply/maumul/*/@)解析
在训练数据时经常涉及到矩阵运算,有段时间没有练习过了,手便生疏了,今天重新测了一把,python中各类矩阵运算举例如下,可以清楚的看到tf.matmul(A,C)=np.dot(A,C)= A@C都属于叉乘,而tf.multiply(A,C)= A*C=A∙C属于点乘。Python测试编码如下:import tensorflow as tfimport numpy as npa...原创 2019-09-25 13:57:07 · 40630 阅读 · 3 评论 -
python 视频转换图片
使用opencv可以很方便的将视频文件转换为图片,opencv安装见前序文章https://blog.csdn.net/haiziccc/article/details/101517163。python代码如下:import cv2vc=cv2.VideoCapture('d:/video.avi')c=250isreadok = True #设置初始值while isrea...原创 2019-09-29 09:56:35 · 688 阅读 · 0 评论 -
python 将图片合成视频
前面介绍过使用opencv进行视频转换图片,同样使用opencv可以很方便的将图片合成视频。代码如下:import osimport cv2file_dir='d:/image/'list=[]for root,dirs,files in os.walk(file_dir): for file in files: list.append(file) #获取...原创 2019-09-29 10:30:36 · 5890 阅读 · 3 评论 -
Python批量修改目录下文件名
想要将目录下文件名称批量修改为统一的顺序命名,使用os.rename即可实现,代码如下:import osfile_dir='d:/image/picture/'i=0for root,dirs,files in os.walk(file_dir): for file in files: new_name='d:/image/picture/'+str(i) ...原创 2019-09-29 16:17:53 · 472 阅读 · 0 评论 -
MIN-MAX归一化
最近在做安全帽的识别,训练集标注好后需要进行归一化,简单写了个算法凑合用import xml.etree.ElementTree as ETimport osimport numpy as npVOC_CLASSES = ( # always index 0 'blue', 'red', 'yellow', 'white','no')#读取xml并进行归一化def pa...原创 2019-10-07 18:22:00 · 5168 阅读 · 2 评论 -
Tensorflow-MNIST代码解析
MNIST是深度学习的入门demo,由6万张训练图片和1万张测试图片构成(数据集下载地址:https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/),每张图片都是28*28大小,而且都是黑白两色,这些图片是采集的不同的人手写从0到9的数字。TensorFlow将这个数据集和相关操作封装到了库中,下面为训练及效果评估代码。import s...原创 2019-10-08 13:09:44 · 778 阅读 · 0 评论 -
分类模型评价及AUC计算详解
1、分类模型评测指标在使用模型进行分类时,一般使用准确度(Accuracy)、精确率(Precision)、召回率(Recall)作为评测指标对模型的好坏进行评价,今天主要就auc进行介绍。混淆表 分类器预测类别 confusion table A(军事) B(科技) 实际类别 A(60) X11(50) X12(10) B(40) X...原创 2019-09-05 21:58:48 · 4077 阅读 · 0 评论