2018年07月_孙宝龙

原创 tensorflow 导入数据（3）

1、概述从文件读取数据时，往往是需要数据转换时，尤其对于多维数据，在使用文件形式进行存储时，除了tfrecord文件格式化，其他的文件的存储都显得无能为力。所以真正从文件读入的数据需要经过转换之后才能够使用。同样在tensorflow这种以小批次进行梯度下降的框架中，需要打乱数据以及对数据进行batch处理，本文主要讨论这些问题。2、使用Dataset.map() 预处理数据Datas...

2018-07-30 16:09:49 1927

原创 tensorflow 导入数据（2）

1、概述在前一篇文章中详细讨论了迭代器与数据集的相关内容。由于数据集与迭代器是链接原始数据与程序连接的渠道，所以本文主要讨论如何从原始数据中构建数据集，主要涉及以下场景：内存 TFRecord data 文本文件 csv文件2、从内存中读取数据如果所有的数据都以numpy数据组的形式预先保存到了内存当中，那么我们使用Dataset.from_tensor_slices()方法可...

2018-07-28 15:50:43 1206 1

原创 tensorflow 导入数据（1）

1、概述在tensorflow中的输入数据会有很多形式一般有一下几种形式数据以tf.constant的实行直接嵌入到graph中。在这种情况下一般数据量不会很大，应用场景也比较单一以tf.placeholder与feed_dic的形式存在在这种场景下，往往也需要将数据全部读入到内存，转换成tf的张量集合然后再进行处理。在进行大量数据处理时显得的力不从心。以pipel...

2018-07-27 18:24:29 660

1、概述之前的章节当中介绍了，neo4j数据库的安装，cypher的查询语言。但在实际开发的情况中，我们更多时候需要使用编程语言来操作图形数据库。例如使用java、php、python来实现相关操作。本章节主要使用python来访问数据库。在进行本章节之前你需要熟悉下列前导知识：熟悉neo4j数据库的基本架构安装配置好neo4j并且数据cypher查询语言的基本语法数据python相关的操作2、安...

2018-07-14 15:15:51 8187 3

原创知识存储-图数据库构建

1、概述之前章节的内容都是对已有的图数据库进行查询，但是进行查询的前提是，已经构建好了一个图形数据库。构建图形数据库同样是一个非常关键的步骤，本章主要介绍对节点、关系、属性的增删改。2、create操作新增节点在创建节点时，可以创建单个节点和多个节点，请参照下面代码create (m)create (x),(y)但是这样的节点毫无意义，所以最基本的应该创建一个带标签的节点，请参照以下代码crea...

2018-07-13 10:35:44 2175

原创知识存储-cypher查询语句基础(2)

1、概述对于neo4j数据库的查询操作，除了比较简单的查询语句之外还有较为负载的查询语句，主要包含以下内容：OPTINAL MATCHwhere语句详细查询聚合2、OPTIONAL MATCHoptional match的匹配模式与match类似。不同的是，在没有匹配到的部分使用null进行填充。该功能类似sql语句中的 outer join 功能。在之前的movie graph中我们注意存在这样...

2018-07-12 15:31:42 949

原创知识存储-cypher查询语句基础(1)

1、概述我们在进行关系型数据库操作的时候使用sql，在使用其他数据库时使用sparsql，在操作neo4j时使用cypher语法。这是一种非常简单的查询语法，方便我们掌握。1）neo4j中的相关概念节点：节点是图数据库中的一个基本元素，表示一个具体的实体，可以类比成关系数据库中的记录关系：关系是图数据库中节点之间的连接，也表示成节点之间的边，neo4j中关系是双向的属性：属性是对节点以及关系的一种...

2018-07-11 16:21:13 11568

原创知识存储(1)-neo4j图形数据库安装

1、概述数据存储的方式有很多种，在常规开发中见到最多的就是关系型数据库。关系型数据库以实体关系方式来构建数据。但从数据库构架的本身来讲是重实体轻关系。随着知识爆炸与互联网以及大数据人工智能技术的发展。传统的数据库已经不能够满足人们对于数据存贮的需要所以有很多非关系型数据库产生，我们将这一类数据库称之为NOSQL，常见的NOSQL数据库大致分为一下几类。举一个例子，如果我们需要存储像脉脉（app）的...

2018-07-11 11:59:13 884

amao1998的博客