for_yayun的博客

原创 我们应该了解的⽤户画像

我们应该如何了解的⽤户画像

原创 大健康中医领域的客户画像标签数据（一）

健康领域客户画像标签

原创 我开始学习golang编程语言-1

我开始学习golang编程语言学习-1

原创 ValueError: Shapes (None, 1) and (None, 2) are incompatible

tensorflow2X训练lstm文本分类。

原创 webprotege的构建下载与导入到neo4j

1.首先下载安装好webprotege。设置好账号和密码后建立一个主题我的如下：一，节点的创建创建成功后，进入该主题的 individuals，如下图：然后点击这个位置的“+”：进入到如下步骤：输入你要写的数据节点，然后点击create：处理完成使用的节点后左边会有相关的显示：二，节点之间的关系的创建在创建完成所有的节点后在来开始创建所有的关系如下示意图：**首先点击一下左边的节点，然后看到右边的对应的节点下面有个Relationships下面的一个，Enter pro

原创 Ne4j加载webprotege的owl文件

一.前言webProtégé软件是斯坦福大学医学院生物信息研究中心基于Java语言开发的本体编辑和知识获取软件，或者说是本体开发工具Neo4j是一个高性能的图形数据库，也可以被看作是一个高性能的图引擎webprotege里的本体也能以图的形式表现，希望将webprotege的本体在neo4j里展示二. webprotege导出owl文件参考的某乎相关教程，neo4j的导入命令中的owl文件格式为 ‘RDF/XML’，此处姑且直接导出该类型文件（其他类型文件未测试）下载后解压后放在一个固定的目录

原创 TextCNN模型原理

TextCNN模型原理

原创 AI人工智能行业知识图谱索引开发前期思想

下面的文章是本人的实际开发工作中的真实的总结，如果转载请说明出处。

原创 AI人工智能知识图谱node2vec论文解读，人工智能知识图谱图计算

论文名称：node2vec: Scalable Feature Learning for Networksnode2vec的思想同DeepWalk一样：生成随机游走，对随机游走采样得到（节点，上下文）的组合，然后用处理词向量的方法对这样的组合建模得到网络节点的表示。不过在生成随机游走过程中做了一些创新。Introduction首先介绍了复杂网络面对的几种任务，一种是网络节点的分类，通俗点说就是将网络中的节点进行聚类，我们关心的是哪些节点具有类似的属性，就将其分到同一个类别中。另一种是链接预测，就是预测

原创 python&Neo4j关联相关的cypher查询操作之图数据库的实体对齐总结

总：Neo4j 实体对齐总共分为3个步骤1、实体三元组的写入和去重。2、实体的融合和对齐3、补齐属性一、实体三元组的写入和去重在写入前我按照1:4的比例提取了26万多篇文章的100万个三元组集合（因为之前做了测试大概是100篇文章可以提取460条三元组集合）联系运维在服务器上部署好我们组专用的neo4j。在三元组写入方面，依据每个数据的情况不一样来确定三元组的写入语句。首先用新闻数据来提取三元组，然后查看提取出来的三元组的值的情况，来判断估算重复值的数量。其次采用cypher语句里面的merg

原创 tensorflow的安装

在我的机子上最开始使用pip或者使用conda的方法无法安装tensorflow，会显示一大堆的下载问题，当用豆瓣源进行下载的时候也不能解决。试了五六种方法，大部分都是来创造一个单独的环境。首先然后在Anaconda Prompt中输入：conda create -n tensorflow python=3.5 # python=写上自己的python环境。接下来就是一路 按 y 即可最后，输入activate tensorflow01 来启动环境。下面是关于下载什么版本的ten

原创 记录一个不同版本数据导出和导入-从本地neo4j-3.5.7版本里面的数据dump后传到服务器上的neo4j-4.3.6版本里面然后load数据

记录一下工作，我从本地电脑上的neo4j-3.5.7版本，dump后，将结果传到服务器上后load到服务器上的neo4j-4.3.6版本里面的记录：打开cmd 后CD进入neo4j-3.5.7的bin目录下面先运行neo4j stop命令关闭neo4j。然后运行命令如下：neo4j-admin dump --database=neo4j --to=data/graph.db.dump其中“data/graph.db.dump”所在的位置就在neo4j-3.5.7的data目录里面。然后我用xft

原创 neo4j属性无法写入的字符

我在写入neo4j数据库的时候，添加实体的属性。得到一个错误如下：Invalid input '(': expected an identifier character, whitespace, NodeLabel, '.', node labels, '[', "=~", IN, IS, '*', '/', '%', '^', '+', '-', '<', '>', "<=", ">=", '=', "<>", "!=", AND, XOR, OR, WHERE, '

原创 Neo4j 删除节点、关系，和所有节点

neo4j清空所有数据命令如下：MATCH (n)OPTIONAL MATCH (n)-[r]-()DELETE n,r删除一个节点 DELETE如下一个节点，删除这个节点可以有两种方法，通过 id 属性，或者 name 属性。1.1 通过 name 属性 删除这一个节点，如下所示：MATCH (n:TEST1{name:'temp'})delete n1.2 通过 id 属性 删除这一个节点，如下所示：MATCH (r)WHERE id(r) = 492DELETE

原创 掌握了python后还需要掌握什么

分享Python学习路线。　　第一阶段Python基础与Linux数据库。这是Python的入门阶段，也是帮助零基础学员打好基础的重要阶段。你需要掌握Python基本语法规则及变量、逻辑控制、内置数据结构、文件操作、高级函数、模块、常用标准库模块、函数、异常处理、MySQL使用、协程等知识点。　　学习目标：掌握Python基础语法，具备基础的编程能力；掌握Linux基本操作命令，掌握MySQL进阶内容，完成银行自动提款机系统实战、英汉词典、歌词解析器等项目。　　第二阶段WEB全栈。这一部分主要学习We

原创 在neo4j中如何将并行一度关系查询性能提升

在海量的neo4j的图数据库中，如何进行并行一度关系查询性能提升。可以通过巧妙的使用Cypher并搭配存储过程，可以实现很多实用的查询。一、查询需求[A=[A1,A2,A3,…,An]，B=[B1,B2,B3,…,Bm]，A和B是两个节点集合。需要查询A中的每个元素分别和B中每个元素是否有一度关系，并返回有关系的实体对。这个查询实现了寻找A中的每个元素分别和B中每个元素是否有一度关系的需求，实现了基本的功能。查询执行时是顺序执行，无法并行。在查询的上半段定义了集合a和b，使用笛卡儿积的方式组合两个列

原创 在Ubuntu虚拟机上安装scons的JavaScript的编译环境

在Ubuntu虚拟机上安装scons的JavaScript的编译环境。首先在安装好python3.6和scons-4.2.0的基础之上在来安装android，以下是操作的安装命令：cd /opt首先下载安装emsdk。下载地址：https://github.com/emscripten-core/emsdk下载zip文件放入到/opt目录下输入如下命令：Cd mesdk输入命令：./emsdk install latest输入命令：./emsdk activate latest输入命

原创 在Ubuntu虚拟机上安装scons的Android的编译环境

在Ubuntu虚拟机上安装scons的Android的编译环境。首先在安装好python3.7和scons-4.2.0的基础之上在来安装android，以下是操作的安装命令：cd /optmkdir sdkcd sdkwget https://dl.google.com/android/repository/sdk-tools-linux-3859397.zipunzip sdk-tools-linux-3859397.zip配置环境变量vim /etc/profileexport AN

原创 在Ubuntu虚拟机上安装scons的windows的编译环境

在Ubuntu虚拟机上安装scons的windows的编译环境首先安装：apt-get install mingw-w64然后添加环境变量export MINGW32_PREFIX="/usr/bin/i686-w64-mingw32-"export MINGW64_PREFIX="/usr/bin/x86_64-w64-mingw32-"为了确保您做的事正确, 在shell中执行以下操作将导致编译器正常工作(版本输出可能因您的系统而异):查看一下${MINGW32_PREFIX}gcc -

原创 在Ubuntu虚拟机上安装scons的X11的编译环境

scons是一个Python写的自动化构建工具，可以用来编译代码，和make作用相似1、安装pythonPython的默认安装地址是：/usr/local/lib设置设置python3为默认python（即建立一个软连接，类似win下的快捷方式），进入/usr/bin文件夹，ln -s python3 python安装PIP，一个python的包管理器apt-get install python3-pip(try 还不行还要继续)wget http://bootstrap.pypa.io/g

原创 ClickHouse的学习记录-1

ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。来自于 2011 年在纳斯达克上市的俄罗斯本土搜索引擎企业 Yandex 公司，诞生之初就是为了服务 Yandex 公司自家的 Web 流量分析产品 Yandex.Metrica，后来经过演变，逐渐形成为现在的 ClickHouse，全称是：Click Stream, Data WareHouseClickHouse 官网：https://clickhouse.tech/，它具有 ROLAP、在线实时查询、完整的

转载 neo4j - 查询效率的几种优化思路

最近在公司实习做的就是优化neo4j图形数据库查询效率的事，公司提供的是一个在Linux上搭建且拥有几亿个节点的数据库。开始一段时间主要是熟悉该数据库的一些基本操作，直到上周才正式开始步入了优化数据库查询效率的阶段，然而庆幸的是在这周就已经把数据库的查询效率优化的可以商用了。 刚开始时，在公司的neo4j数据库中进行关联查询时，有些查询指令甚至长达两小时都未返回待查结果，以致无法满足一般的商业需求。后来经过查阅相关资料，获得了如下几种优化思路：1：增加索引2：优化neo4j配置文件3：增加服务

转载 区块链技术与微服务架构之间有什么关系？

每一种新技术的产生与发展，都会与既有的技术与实践存在着联系，例如微服务作为一种技术架构，实际上是在SOA架构和JavaEE等分布式架构的基础上，进一步明晰了服务实现的方式与规则。区块链技术脱胎于比特币，作为一种多方信任的交易和技术模型，被包括国家、政府、监管机构等诸多业务方所关注，反而使技术从业者有些茫然，这一技术到底是什么，解决什么问题，能够用在哪里？普元近年来持续对微服务和区块链技术进行了研究，这里和大家分享一下研究的成果。我们的研究重点放在了如下几个方面：区块链技术适用的应用场景有哪些，该技术带来的

转载 Go module的介绍及使用

Go1.1.1版本发布(2018-08-24发布)已经过去几天，从官方的博客中看到，有两个比较突出的特色，一个就是今天讲的module，模块概念。目前该功能还在试验阶段，有些地方还需要不断的进行完善。在官方正式宣布之前，打算不断修正这种支持。到时候就可以移除对GOPATH和go get命令的支持。如果你想现在想就试试这个新功能module，需要你将你的代码仓库放到GOPATH/src目录之外。然后在那个目录下创建一个go.mod文件，从文件树中运行go命令。主要概念介绍module是一个相关Go包的集

原创 Neo4j数据库知识图谱查询关联人物关系和cypher查询

Cypher语句介绍：Cypher是一种声明式图查询语言，表达高效查询和更新图数据库。例子：声明式编程是一种编程范式，即构建计算机程序的结构和元素的一种风格，它表达了计算的逻辑而没有描述其控制流程。常用的声明性语言包括数据库查询语言（例如SQL，XQuery），正则表达式，逻辑编程，函数式编程和配置管理系统。命令式编程以明确的步骤实现算法。match 相当于SQL selectcypher查询语言的基本介绍：match(node) - [relationship] ->(node)wher

原创 AI人工智能知识图谱图计算的数学知识储备

主要的有：1，词向量的表示学习方法2, skip_gram模型的算法逻辑3，随机梯度下降法4，矩阵分解和高斯模型嵌入5，图谱推理技术与skip_gram和词向量结合法-图谱向量化表示下面是学习笔记拍摄成图片：...

原创 Python操作Neo4j Bolt驱动程序API

每次执行Cypher时，BoltStatementResult都会返回a。这提供了查询结果的句柄，从而可以访问其中的记录以及结果元数据。每个结果均包含页眉元数据，零个或多个Record对象以及页脚元数据（摘要）。结果还包含一个缓冲区，当结果被无序使用时，该缓冲区会自动存储未使用的记录。通过将A BoltStatementResult附加到活动连接，Session直到其所有内容都已缓冲或消耗完毕。...

原创 Windows电脑上搭建Pyspark开发环境的详细步骤

准备工作查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windows10专业版64位。1，安装Anaconda1.1 下载注意选择与操作系统匹配的版本，截止写本教程时，官方版本为Anaconda5.0.1，内部封装的为Python3.6，也可根据需要下载封装其他版本Python的Anaconda3下载地址为：https://www.anacon...

原创 TextRank和python代码的实现

TextRank类似于PageRank的思想，将文本中的 语法 单元 视作图中的节点，如果两个语法单元存在一定语法关系（例如共现），则这两个语法单元在图中就会有一条边相互连接，通过一定的迭代次数，最终不同的节点会有不同的权重，权重高的语法单元可以作为关键词。参考论文：Rada Mihalcea的《TextRank：Bring Order into texts》。节点的权重不仅依赖于它的入度结点，还依赖于这些入度结点的权重，入度结点越多，入度结点的权重越大，说明这个结点的权重越高；图中任两点 Vi ,.

原创 AI人工智能知识图谱Neo4j关联查询人物关系cypher查询

Cypher语句介绍：Cypher是一种声明式图查询语言，表达高效查询和更新图数据库。例子：声明式编程是一种编程范式，即构建计算机程序的结构和元素的一种风格，它表达了计算的逻辑而没有描述其控制流程。常用的声明性语言包括数据库查询语言（例如SQL，XQuery），正则表达式，逻辑编程，函数式编程和配置管理系统。命令式编程以明确的步骤实现算法。match 相当于SQL selectcypher查询语言的基本介绍：match(node) - [relationship] ->(node)wh

原创 针对于招投标行业的NER的精度提升记录

前提：在招投标数据领域中，我们对IT类的数据进行了NER提取，发现其精度一直在73-79之间，即使调整相关参数难以提升（当然没有考虑用bert）。下面是我从规则方面提升精度的方法记录：1，总的方法：去除无用标签，且标签F1精度不高于30的。依据NER的精度提升优化来改动了相关的参数，降低学习率，调低loss值预处理数据删除干净，如：前端网页标签、\t、\n 和空格等等模型+规则的过滤匹配，清理掉无用的数据数据在输入模型做数据提取时要将太长的文章进行切分。2，注意重点过滤数据规则如何确定？正

原创 TensorFlow的1.x在Windows平台安装

Windows安装TensorFlow在线安装nightly包pip install tf-nightly若要安装最新的GPU版本可以使用如下命令：pip install tf-nightly-gpu可能会出现的问题ERROR: tb-nightly 1.14.0a20190604 has requirement setuptools>=41.0.0, but you'll have setuptools 39.0.1 which is incompatible.需要更新setu

转载 MongoDB on SparkSql的读取和写入操作(Python版本)

MongoDB on SparkSql的读取和写入操作(Python版本)1.1 读取mongodb数据python方式需要使用pyspark 或者 spark-submit的方式进行提交。下面pyspark启动的方式：1.1.1 使用pyspark启动命令行本地安装的spark版本为2.3.1，如果是其他版本需要修改版本号和scala的版本号pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.11.1.2 在

原创 Flink知识梳理

原创 spark分布式集群部署的配置文件记录和代码运行

spark.eventLog.enabled truespark.eventLog.dir hdfs://bigdata01:8020/spark-logsexport SPARK_HISTORY_OPTS="-Dspark.history.ui.port=68080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://bigdata01:8020/.

原创 hbase分布式集群部署与配置

1，下载版本，本次我下载的版本是 hbase-0.98.6-cdh5.3.0.tar分布式规划图：配置信息：接下来 就是 实际的配置：进入 conf目录：

原创 kafka部署集群记录

1，选定版本和文件配置：用Kafka_2.11-0.8.2.1版本下载地址：https://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz解压： tar -zxf kafka_2.11-0.8.2.1.tgz -C /opt/modules/配置config下面的2个文件夹如下图：配置server 里面的要...

转载 Pandas还能用来写爬虫？

谈及Pandas的read.xxx系列的函数，大家的第一反应会想到比较常用的pd.read_csv()和pd.read_excel()，大多数人估计没用过pd.read_html()这个函数。虽然它低调，但功能非常强大，用于抓取Table表格型数据时，简直是个神器。下面来详细介绍一下。大家逛网页时，经常会看到这样一些数据表格，比如：电影票房数据世界大学排行榜数据财经数据如果查看一...

原创 zookeeper分布式集群部署

zookeeper 版本下载和安装我是下载和安装这个版本：zookeeper-3.4.5-cdh5.10.0.tar我在机器1里面进行了解压和安装在/opt/modules/解压后 cd zookeeper-3.4.5-cdh5.10.0创建一个 文件夹 mkdir -p zkdata然后检查 该文件所在的位置 pwd/opt/modules/zookeeper-3.4.5-cdh5...

原创 在Windows上的虚拟机安装Hadoop伪分布式系统（三）

接上一篇文章在上一篇文章中遗漏了一个core-site的配置文件这个是改默认的名字为自己需要的，其效果在如下：好了接下来 说接着上一篇文章写：开始 启动jobhistory命令： sbin/mr-jobhistory-daemon.sh start historyserver运行mapreduce创建一个输出目录命令：bin/hdfs dfs -mkdir -p /user/...