2016年08月_multiangle

原创基于ftp实现一个类dropbox文件同步程序

最近要在实验室和宿舍两头跑，同一台电脑上还有win和linux等多个系统，想要在任何一个地点和平台上继续看之前的文献实在有点麻烦，只能拿U盘来拷，但是我的U盘又很容易掉，万一掉了那辛苦工作的成果可就全没了。你说网盘吧，百度网盘又不合我意，同步太麻烦了。最符合我想法的还是dropbox，只要把文件丢在文件夹里面，就会自动帮你同步。但是dropbox被封了呀，有人推荐金山快盘，跑去一看已经关了。其他

2016-08-31 00:02:51 3202

原创异步爬虫: async/await 与 aiohttp的使用，以及例子

在python3.5中，加入了asyncio/await 关键字，使得回调的写法更加直观和人性化。而aiohttp是一个提供异步web服务的库，分为服务器端和客户端。这里主要使用其客户端。本文分为三步分，第一部分简单介绍python3.5的异步，asyncio/await 关键字。第二部分介绍aiohttp客户端部分的使用。第三部分是一个例子，列举了如何爬取CSDN某个博客中的所有文章。 1.

2016-08-23 23:47:46 33198 3

原创 linux下各数据库安装及相关知识

这一部分主要讲mysql , mongodb 和 redis的安装和相关操作。这三个在我的程序中都有用到，分别代表了关系型数据库，非关系型数据库，内存key-value数据库 1. MySQL1.1 安装$ sudo apt-get update$ sudo apt-get upgrade$ sudo apt-get install mysql-server$ sudo apt-get in

2016-08-19 21:51:37 1730

gensim是一个python的自然语言处理库，能够将文档根据TF-IDF, LDA, LSI 等模型转化成向量模式，以便进行进一步的处理。此外，gensim还实现了word2vec功能，能够将单词转化为词向量。关于词向量的知识可以看我之前的文章关于gensim的使用方法，我是根据官网的资料来看的，思路也是跟着官网tutorial走的，英文好的或者感觉我写的不全面的可以去官网看 1. corpora

2016-08-16 10:58:58 59724 12

原创搭建linux下的深度学习开发环境

最近越来越感觉到在win下开发简直浑身难受，各种lib需要逐个下载安装不说，到现在干脆在win下跑不起来了。无奈，只能打算转战linux平台。在搭建环境过程中碰到了各种问题，因此把碰到的一些问题及其解决方法写下来作为备忘。1. ubuntu的安装由于之前ubuntu使用的比较多，所以这次也顺理成章的选择了ubuntu. 关于ubuntu的版本，注意一定要选择新版本。目前(2016.8)的最新版本是

2016-08-07 10:55:55 13176 1

转载语义分析的一些方法(二)

本文转自这里2 文本语义分析前面讲到一些文本基本处理方法。一个文本串，对其进行分词和重要性打分后（当然还有更多的文本处理任务），就可以开始更高层的语义分析任务。2.1 Topic Model首先介绍主题模型。说到主题模型，第一时间会想到pLSA，NMF，LDA。关于这几个目前业界最常用的主题模型，已经有相当多的介绍了，譬如文献[60，64]。在这里，主要想聊一下主题模型的应用以及最新进展(考虑到LD

2016-08-04 11:22:13 8408

转载语义分析的一些方法(一)

原文转自这里语义分析，本文指运用各种机器学习方法，挖掘与学习文本、图片等的深层次概念。 wikipedia上的解释：In machine learning, semantic analysis of a corpus is the task of building structures that approximate concepts from a large set of documents(

2016-08-03 18:49:56 11948

原创将Java中的内容直接存储为二进制文件

目前有这个需求，需要将java跑好的结果持久化，但是如果一个个输出为文本文件又不太好办，因为里面东西太多太杂，所以最好的办法是直接输出为二进制文件，把数据连同存储数据的类一起存进去，就行python中的pickle类所做的一样。在网上转了一圈，大部分是讲如何输出为文本文件的，所以在经过查询和调试以后，给出我自己的方法。要实现这个功能主要有两点，一是FileOutputStream和ObjectOut

2016-08-02 17:38:30 12082

Multiangle's Notepad