2017年12月_CopperDong

12月 11月 10月 09月 08月

转载 Neo4j安装及使用shell脚本执行命令

Neo4j是一个图形化的数据库，可以很直观的看到各种数据之间的关系。1、在Linux中安装Neo4j可以在官网上下载需要的版本：https://neo4j.com/download/我下载的是：neo4j-community-3.0.3-unix.tar.gz保存到Linux中然后执行命令解压：tar -xzvf neo4j-community-3.0.3-unix

2017-12-31 21:56:37 2706

转载显示MYSQL表信息的方法

MYSQL表信息的查看方法是我们经常要实现的功能，下面就为您介绍显示MYSQL表信息的方法，如果您对MYSQL表信息方面感兴趣的话，不妨一看。在用mysql时(show tables)，有时候需要查看表和字段的相关信息（表与某字段是否存在等.）~~而PHP提供了这样的相关函数，如：mysql_list_dbs（），mysql_list_fields（），但mysql_list_fields

2017-12-31 19:30:39 11121

转载从0到1搭建网站

原文1、技术栈：web框架选择dijango，前端框架直接用django模板渲染，没有选择angular等，因为seo不友好2、服务端容器选择：在tomcat、apeche httpd、nginx等web服务器下游，需要部署python的应用服务器容器，选择uwsgi，类似nginx，通过一个守护进程把不同的http请求转交给子进程并发处理，并且支持多线程的方式，性能较高，更重要的，dja

2017-12-31 17:44:29 915

原创本体建模与语义Web知识发现 9：基于本体知识库的知识发现

目前在Web上进行的信息检索主要是利用搜索引擎，进行基于字符的关键字匹配检索。尽管搜索引擎在一定程度上避免了用户浏览网络信息的盲目性，给用户带来了便利，但是这种检索方式的主要问题是在返回大量不相关的结果的同时却又漏掉了一些相关页面，在很大程度上无法满足用户的需求。面对网络信息量的激增，传统的基于信息定位的Web信息表示方法，使得现有信息检索面临前文中所述的困难和窘境。而语义Web是目前一个较好的、

2017-12-31 11:47:57 1576

原创本体建模与语义Web知识发现 8：基于本体的知识推理

以本体作为信息组织形式，通过推理可以获得本体中特定形式的知识集合以及运用本体中的知识来辅助解决涉及语义的应用。使用OWL本体作为信息检索的载体，用户能够方便地在概念上描述信息需求，构造复杂的语义查询。SPARQL语言查询显示定义的知识，还需要推理引擎，将本体中具有隐含语义关联的数据提取出来，获得所有相关联的数据作为SPARQL查询的数据源。本体的知识推理从根本上说就是把隐

2017-12-31 11:06:39 5738 1

原创 Python网络数据采集14：远程采集

程序在不同的机器上运行，或者在电脑上用不同的IP地址运行。14.1 为什么要用远程服务器有两个目的：对更大计算能力和灵活性的需求，以及对可变IP地址的需求。避免IP地址被封杀：移植性与扩展性：14.2 Tor代理服务器虽然每个服务器的入站和出站通信都可以被查到，但是要想查出通信的真正起点和终点，必须知道整个通信链路上所有服务器的入站和

2017-12-30 21:31:36 571

原创 Python网络数据采集13：用爬虫测试网站

用网络爬虫代替人眼进行测试前端，把检查表变成单元测试。13.1 测试简介什么是单元测试：13.2 Python单元测试 unittest模块测试维基百科：13.3 Selenium单元测试 myElement.click() myElement.click_and_hold() myElement.relea

2017-12-30 21:08:06 758

原创 Python网络数据采集12：避开采集陷阱

服务器拒绝处理表单，IP地址被封杀。如何克服网站阻止自动采集12.1 道德规范为什么要教采集：采集那些不想被采集的网站时，其实存在一些非常符合道德和法律规范的理由不太可能建立一个完全“防爬虫”的网站和大多数程序员一样，从来不相信禁止某一类信息的传播就可以让世界变得更和谐12.2 让网站机器人看起来像人类用户网站防采集的前提是要正确地区分人类访问用户和

2017-12-30 20:54:24 829

原创本体建模与语义Web知识发现 7 万维网信息资源的描述与发布

XML是结构化标记语言，即实现“文档结构化”的语言规范，是与特定领域有关的、具有语义和结构化等特点的元标记语言。XML将文件的内容和外观进行分离，其所具有的可延伸性及自我描述特性，使得Web文件可以在全球信息网或企业间的应用程序中自动传输、处理及存储，不同厂商的电子商品目录可以共享，信息的搜索变得更为准确快速，不同系统间的信息流通更加顺畅，给Web应用乃至网络计算注入了新的活力。7.1 XML

2017-12-30 11:50:52 533

原创 Python网络数据采集11：图像识别与文字处理

用一些Python库来识别和使用在线图片中的文字。将图像翻译成文字一般被称为光学文字识别（Optical Character Recognition, OCR）。11.1 OCR库概述虽然有很多库可以进行图像处理，这里只重点介绍两个库：Pillow和Tesseract。 Pillow是从Python 2.x版本的Python图像库（PIL）分出来的，支持P

2017-12-29 21:51:44 1249

原创 Python网络数据采集10：采集JavaScript

客户端脚本语言是运行在浏览器而非服务器上的语言。客户端语言成功的前提是浏览器拥有正确地解释和执行这类语言的能力。在一定程度上，由于很难让所有浏览器开发商都认可同一个标准，所以客户端语言比服务器端语言要少很多。通常，你在网上遇到的客户端语言只有两种：ActionScript（开发Flash应用的语言）和JavaScript。今天ActionScript的使用率比10年前低很多

2017-12-29 20:08:09 637

原创 Python网络数据采集9：穿越网页表单与登录窗口进行采集

到目前为此，我们都是用GET方法去请求信息，这一章介绍POST方法，即把信息推送给服务器进行存储和分析。表单可以帮助用户发出POST请求，当然，通过爬虫创建这些请求提交给服务器9.1 Python Requests库 Requests库是一个擅长处理那些复杂的HTTP请求、cookie、header（响应头和请求头）等内容的Python第三方库 https://g

2017-12-29 17:23:03 852

原创本体建模与语义Web知识发现 6 领域知识的描述与本体建模

自然语言一直是一种有效的表示知识和交流知识的有效方法，然而计算机网络环境下的知识库系统却不能用自然语言来表示知识，根本原因是它的二义性和缺乏一致性的结构。要实现计算机自动处理知识并对知识问题进行求解，必须准确描述知识，以某种一致化的结构存储和组织知识。根据本体论的基本观点，任何复杂事物都可以从中剥离出事物的本质，也就是事物的最小化描述，即本体。随着语义网技术的发展，基于可扩展标记语言（XML）的D

2017-12-29 12:11:32 3746 1

原创 Python网络数据采集8：自然语言处理

8.1 概括数据源自美国第九任总统威廉 ·亨利 ·哈里森的就职演说http://pythonscraping.com/files/inaugurationSpeech.txt# -*- coding: utf-8 -*-from urllib.request import urlopenfrom bs4 import BeautifulSoupimport reimport

2017-12-28 20:54:30 834

原创 Python网络数据采集7：数据清洗

网站的真实故事其实都隐藏在JavaScript、登录表单和网站反抓取措施的背后。通过第二部分（7-14章）的内容的学习，你将掌握如何用网络爬虫测试网站，自动化处理，以及通过更多的方式接入网络。最后你将学到一些数据采集的工具，帮助你在不同的环境中收集和操作任意类型的网络数据，深入互联网的每个角落。由于错误的标点符号、大小写字母不一致、断行和拼写错误等问题，零乱的数据(dirt

2017-12-28 20:42:50 1262

原创 Python网络数据采集6：读取文档

虽然互联网在20世纪60年代末期就已经以不同的形式出现，但是HTML直到1992年才问世。在此之前，互联网基本上就是收发邮件和传输文件；今天看到的网页的概念那时还没有。总之，互联网并不是一个HTML页面的集合。它是一个信息集合，而HTML文件只是展示信息的一个框架而已。如果我们的爬虫不能读取其他类型的文件，包括纯文本、PDF、图像、视频、邮件等，我们将会失去很大一部分数据。6.1 文档编码

2017-12-28 19:18:20 502

转载文字编辑软件的颠峰作品——Word发展历史全析

提到Word相信大家再熟悉不过了，这个经历了20多年发展的文字编辑软件，受到用户的高度肯定，目前发展到Word2010版本，而走过了这么多年的岁月，Word有了怎样的变化与革新，今天就让小编与大家一起来进行一个历史20多年的回顾吧。希莫尼今年58岁，是微软公司创始人之一，因参与开发了核心软件Word和Excel而声名鹊起，被誉为“Word之父”。Word是Microsoft公司的一个文字处

2017-12-28 19:03:52 4731

转载 python处理情感预测

http://blog.csdn.net/weixin_36541072/article/details/53638264

2017-12-28 16:55:04 644

原创本体建模与语义Web知识发现 5 基于N-VSM的全文检索

信息检索是从任何信息集合中识别和获取所需信息的过程及其所采取的一系列方法和策略。从原理上看，包括存储与检索两方面。知识是有组织的大量的信息，获得知识有赖于获得信息。本章将介绍非结构化数据的全文检索技术。5.1 全文检索的关键技术由于RDBMS自身底层结构的缘故使得它管理大量非结构化数据显得有些先天不足，特别是查询这些海量非结构化数据的速度较慢。而通过全文检索技术就能高效地管理这些非

2017-12-28 11:43:18 699

原创本体建模与语义Web知识发现 4 基于频繁模式挖掘的XML网页分类技术

要实现Web的分类检索，首先解决网页分类问题。XML文档是文本内容信息与结构信息的综合体，区别于传统的文本分析的关键在于结构信息的获取与利用，针对一般文件的分类方法不但体现不出XML文件的优点，更可能使得分类效果相对于普通文本效果更差，因此有必要研究一种专门针对XML文档的分类方法。

2017-12-28 09:58:35 497

原创 Python网络数据采集5：存储数据

本章将介绍三种主要的数据管理方法，对绝大多数应用都适用。如果你准备创建一个网站的后端服务或者创建自己的API，那么可能都需要让爬虫把数据写入数据库。如果你需要一个快速简单的方法收集网上的文档，然后存到你的硬盘里，那么可能需要创建一个文件流来实现。如果还要为偶然事件提醒，或者每天定时收集当天累计的数据，就给自己发一封邮件吧！5.1 媒体文件只存储文件的URL链接的缺点：这

2017-12-27 17:19:12 907

原创本体建模与语义Web知识发现 3 基于关系数据库的XML文档管理

设计数据库时，要分析存储的信息及这些信息组成部分之间的关系。传统的关系数据库采用ER模型来描述数据关系，并依此进行数据库设计。XML文档是半结构化数据，ER图不能完全体现数据之间的关系，所以首要解决的是XML数据库的数据模型问题。3.1 XML数据模型研究者也开展了大量基于关系模型的XML数据管理的研究工作。这些方法的最大问题是：XML数据上的一个操作需要用这些模型上的一系列操作来

2017-12-27 10:12:24 424

原创本体建模与语义Web知识发现 2 XML与数据库

XML本身不能和数据库挂上钩，但是加上一些其他的辅助工具，就把整个XML看成是一个数据库系统，XML文本本身可以看成是数据库中的数据区，DTD或Schema可以看成是数据库模式，XQL（XML查询语言）可以看成是数据库查询语言，SAX或DOM可以看成是数据库处理工具。当然它还是缺少数据库所必须的一些东西，比如有效的存储组织、索引结构、安全性、事务处理、数据完整性、触发器、多用户处理机制等等。

2017-12-27 09:54:24 443

原创 Python网络数据采集4：使用API

一般情况下，程序员可以用HTPP协议向API发起请求以获取某种信息，API会用XML或JSON格式返回服务器响应的信息。通常不会把使用API看成网络数据采集，但是实际上两者使用的许多技术（都是发送HTTP请求）和产生的结果（都是获取信息）差不多；两者经常是相铺相成的关系。如把维基百科编辑历史（里面有编辑者IP地址）和一个IP地址解析的API组合起来，以获取维基百科词条编辑者的地

2017-12-26 21:51:28 1019

原创 Python网络数据采集3：开始采集

Web crawler的本质是一种递归方式。使用Web Crawler的时候，必须非常谨慎地考虑需要消耗多少网络流量，还要尽力思考能不能让采集目标的服务器负载更低一些。3.1 遍历单个域名维基百科六度分隔理论：小世界from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen(

2017-12-26 17:11:51 5513 2

原创 Python网络数据采集2：复杂HTML解析

2.1 不是一直都要用锤子如果直接HTML标签中的信息，网站管理员对网站稍微修改之后，爬虫就会失效，那么该怎么做呢？寻找“打印此页”的链接，或者接受网站移动版寻找隐藏在JavaScripy文件里的信息。虽然网页标题经常会用到，但是这个信息也许可以从网页的URL链接里获取寻找其他数据源2.2 再端一碗BeautifulSoup Spider可以通过CSS中的Cla

2017-12-26 15:52:28 920 1

原创 Python网络数据采集1：初见网络爬虫

前言所有代码示例：https://github.com/REMitchell/python-scraping网络数据采集程序：有时称为网络机器人(bots)，是一种通过多种手段收集网络数据的方式，不光是通过与API交互的方式。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用HTML表单或其他网页文件），然后对数据进行解析，提取需要的信息。涉及非常广泛的编程技术和手段，比如数据分

2017-12-26 14:59:44 974 1

原创本体建模与语义Web知识发现 1

第1章基于语义Web的智能检索和知识发现语义Web不是另外一个Web，它是现有Web的延伸，其中信息被赋予了良定义。语义Web将在更加微小的信息之间建立直接的连接，例如一条街道的地址与一份地图等，用户可以将两个毫不相干的东西连接在一起，比如说银行报账单和日历。用户可以将银行报账单拖到日历上，也可以将日历拖到银行报账单上，这样就可以知道何时进行支付。语义Web将呈现给人们一个所有数据“

2017-12-26 09:25:54 1263

原创 Neo4j实战

2、图形数据结构建模3、使用Neo4j API 创建节点创建关系为节点添加属性节点类型策略为关系添加属性节点标签4、强大的图形遍历简单遍历：从起始节点开始按照关系使用Neo4j核心Java API查找直接的邻居使用Neo4j核心Java API进行遍历

2017-12-25 14:33:25 4456 1

原创 Neo4j简介

1、Neo4j在NoSQL领域的地位二、Neo4j具有与ACID兼容的数据格式原子性（A）：可以在一个事务中包含对多个数据库的操作，并确保它们都是在原子性的情况下执行的，如果其中有一个操作发生问题，则整个事务将全部回滚。一致性（C）：当向Neo4j数据库中写数据时，你必须保证随后访问数据库的每个用户读取的都是最近、更新的数据。隔离性（I）：必须确保一

2017-12-25 10:57:10 498

原创图数据库：6 图数据库的内部结构

使用Neo4j图数据库举例说明有几个原因。Neo4j是一个具有原生处理功能和原生图存储的图数据库。它的优点还在于透明度，因为它是开源的，这使富有冒险精神的读者可以很容易深入研究其代码。6.1 原生图处理假如图数据库存在免索引邻接属性，那么我们说它具有原生处理能力。使用免索引邻接的数据库引擎中的每个节点都会维护其对相邻节点的引用。因此每个节点都表现为其附近节点的微索引，这比使用全

2017-12-20 10:40:29 5436 1

原创图数据库：4 构建基于图数据库的应用

根据经验来说，图数据库应用程序非常适合使用演化的、增量的、迭代的软件开发实践方法进行开发，这种方法如今被广泛应用。这些实践的一个关键特性是：在整个软件开发生命周期中贯穿着测试。在这里我们将展示如何使用测试驱动的方式来开发数据模型和应用程序。4.1 数据建模用节点表示事物，用联系表示结构细粒度联系与通用联系将事实建模为节点

2017-12-20 09:19:23 1091

原创 TensorFlow技术解析与实战 13 生成式对抗网络

生成式对抗网络是google在2014年提出的一个网络模型，主要灵感来自于二人博弈中的零和博弈，也是目前最火热的非监督深度学习的代表。13.1 GAN的原理生成式对抗网络主要解决的问题是如何从训练样本中学习出新样本。生成模型就是负责训练出样本的分布，如果训练样本是图片就生成相似的图片，如果训练样本是文章句子就生成相似的文章句子。判别模型是一个二分类器，用来判断输入样本是真

2017-12-19 19:22:33 462

原创 TensorFlow技术解析与实战 12 图像与语音的结合

实现人工智能要有3个要素：语法、语义和推理语音和视觉是人工智能界非常关注的点，也就是说，在语言和视觉层面，通过语法（对语言来说是语法解析，对视觉来说是三维结构的解析）和语义（对语言来说是语义，对视觉来说是物体动作的含义）作为模型的输入训练数据，最终实现推理的能力，也就是把训练中学习到的能力应用到工作中去，从新的数据中推断出结论。12.1 看图说话模型输入一张图片，希望

2017-12-19 18:53:21 779

原创图数据库：3 使用图进行数据建模

无论是与其他NoSQL存储相比，还是与传统的关系型数据库相比，图数据库都具有显著的好处。但是一旦选择了图数据库，接下来我们就会问：如何使用图来建模呢？3.1 模型和目标建模是为了让不规则的领域的一些具体方面变成结构化的、可操纵的空间。对于事物实际存在的方式，并没有一种天然的表达方式，我们只能有目的地选择、抽象和简化，一些方法能更好地满足某个特定目标。在这方面，用

2017-12-19 16:12:14 2905

原创图数据库：2 关联数据的存储选择

我们生活在互联的世界中。为了发展进步，我们需要理解并影响所处的网络。2.1 关系型数据库缺少联系数十年来，开发者试图使用关系型数据库处理关联的、半结构化的数据集。关系型数据库设计之初是为了处理纸质表格以及表格化结构---有些方面关系型数据库做得非常好---它们试图对这种实际中的特殊联系进行建模。然而讽刺的是，关系型数据库在处理联系上做得却并不好。下图展示了一个以客户

2017-12-19 11:27:59 567

原创图数据库：1 简介

第一章简介图论图是什么：实体与实体之间的关联Gartner定义了商业世界的5个图-----社交、意向、消费、兴趣和移动，并指出运用这些图的能力是一个”可持续的竞争优势“。现在最流行的图模型----带标签的属性图：它包含节点和联系节点上有属性（键值对）节点可以有一个或多个标签联系有名字和方向，并总是有一个开始节点和一个结束节点联系也可以有属性1.2 图领

2017-12-19 11:25:24 1711

原创 TensorFlow技术解析与实战 11 自然语言处理

与图像识别不同,在自然语言处理中输入的往往是一段语音或者一段文字,输入数据的长短是不确定的,并且它与上下文有很密切的关系,所以常用的是循环神经网络(recurrent neural network,RNN)模型11.1 模型的选择使用不同输入和不同数据时，分别适用哪种模型以及如何应用（1）一对一：没有使用RNN，如Vanilla模型，从固定大小的输入得到固定大小输

2017-12-19 09:28:28 2013 1

转载知识图谱构建摸索

一、前言知识图谱（Knowledge Graph）突然就变得很热门，自己也被分配去研究构建知识图谱了，中间也看了很多资料，这里想做个小笔记，方便日后的查阅和备忘吧！二、什么是知识图谱？构成这个世界的是实体，而非字符串（things, not strings）。知识图谱其实就是以前的语义网，只不过换了一个名字而已。知识图谱就是把所有不同种类的信息（He

2017-12-18 20:04:02 1357

转载封装汉语自然语言处理中的常用方法(附代码:生成中文词云)

前叙该文章写作共花费二十分钟,阅读只需要七分钟左右,读完该文章后,你将学会使用少量代码,将中文小说,中文新闻,或者其他任意一段中文文本生成词云图背景在进行汉语自然语言处理时候,经常使用的几个方法,分词,清除停用词,以及获取新词,为了方便使用我们将其封装. 这样我们就可以通过一行简单的代码获取清除停用词并和英语一样分词完毕,并以空格分割的汉语字符串,或者还可以获得其他功能

2017-12-18 14:53:08 904