分布式开源库 介绍

分布式开源库 介绍1.有些系统的功能可能重复比如reids既是KV数据库,也可以是缓存系统,还可以是 消息分发系统将来考虑再 以什么样的形式 去合并, 使归纳更准确。2.将来会做个索引,现在 东西太多,导致看的很麻烦[集群管理]mesosProgram against your datacente...

2018-04-19 21:03:09

阅读数 76

评论数 0

Ubuntu 14.04 安装Octave

安装依赖 首先使用apt-get install安装依赖。(以下包括所有推荐的可选包) libjack0 libjack-dev libarpack2-dev libcurl4-gnutls-dev epstool libfftw3-dev transfig libfontconfig1-de...

2016-11-13 09:59:09

阅读数 2185

评论数 0

python模拟登录新浪微博自动获得调用新浪api所需的code

python模拟登录新浪微博自动获得调用新浪api所需的code 标签: python新浪api 2015-12-21 16:25 1493人阅读 评论(0) 收藏 举报 分类: python 版权声明:本文为博主原创文章,未经博主允许...

2016-08-02 18:00:35

阅读数 2386

评论数 0

python+Selenium2+chrome构建动态网页爬虫工具

python+Selenium2+chrome构建动态网页爬虫工具 2013-06-30 11:23 22863人阅读 评论(6) 收藏 举报  分类:   python-web(11)  版权声明:本文为博主原创文章,未经博主允许不得转载。  ...

2016-07-14 22:34:42

阅读数 813

评论数 0

Python动态页面抓取超级指南

Python动态页面抓取超级指南 时间 2016-03-10 12:13:05  数据工匠 原文  http://datartisan.com/article/detail/95.html 主题 Python JavaScript 当我们进行网页爬虫时,我们会利用一定的...

2016-07-14 22:32:41

阅读数 5384

评论数 1

Python 爬虫 PhantomJs 获取JS动态数据

Python 爬虫 PhantomJs 获取JS动态数据 字数2034 阅读2900 评论16 喜欢8 上篇文章我非常high的爬取了一个正常网页的数据 对是正常 不正常的来了 这次研究的就是那些“不正常”的网页 当时是我太天真 后面发现水又深 介于现在...

2016-07-14 22:29:16

阅读数 8300

评论数 0

java抓取动态生成的网页

最近在做项目的时候有一个需求:从网页面抓取数据,要求是首先抓取整个网页的html源码(后期更新要使用到)。刚开始一看这个简单,然后就稀里哗啦的敲起了代码(在这之前使用过Hadoop平台的分布式爬虫框架Nutch,使用起来是很方便,但是最后因为速度的原因放弃了,但生成的统计信息在后来的抓取中使用到了...

2016-07-14 22:15:00

阅读数 2439

评论数 0

Java 通过JDBC连接Mysql数据库

Java 通过JDBC连接Mysql数据库的方法和实例【图文说明】 JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准...

2016-07-12 15:02:09

阅读数 316

评论数 0

文本特征提取

文本挖掘模型结构示意图 1. 分词 分词实例:        提高人民生活水平:提高、高人、人民、民生、生活、活水、水平 分词基本方法:         最大匹配法、最大概率法分词、最短路径分词方法 1.1 最大匹配法         中文分词在中文信息处理中是最最基础的...

2016-06-24 13:45:32

阅读数 500

评论数 0

图形数据库 Neo4j(2) ----Java

Neo4j 是一个高性能的 NoSQL 图形数据库。Neo4j 使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系。很多应用中数据之间的关系,可以很直接地使用图中节点和关系的概念来建模。对于这样的应用,使用 Neo4j 来存储数据会非常的自然,要优于使用关系数据...

2016-06-23 22:26:19

阅读数 4205

评论数 0

图形数据库Neo4j(1)----简介及使用

Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。 ...

2016-06-23 22:23:33

阅读数 743

评论数 0

Neo4j安装及使用

Neo4j简介 Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级...

2016-06-23 10:49:47

阅读数 6141

评论数 0

sklearn,SVM 和文本分类

之前做过一些文本挖掘的项目,比如网页分类、微博情感分析、用户评论挖掘,也曾经将libsvm进行包装,写了一个文本分类的开软软件Tmsvm。所以这里将之前做过一些关于文本分类的东西整理总结一下。 1 基础知识 1. 1 样本整理 文本分类属于有监督的学习,所以需要整理样本。根据业务需求...

2016-06-22 19:01:20

阅读数 16012

评论数 2

Java运行Python脚本的几种方式

由于在项目需要执行Python,找寻相关资料,总结出以下几种方式: 直接执行Python脚本代码     引用 org.python包 1 PythonInterpreter interpreter = new PythonInterpreter(); 2 interpreter...

2016-06-21 23:06:41

阅读数 706

评论数 0

在java中调用python方法

1、http://sourceforge.net/projects/jython/下载jython包,把其中的jython.jar添加到工程目录   示例: 1、摘自:http://blog.csdn.net/anbo724/article/details/6608632 ...

2016-06-21 23:01:42

阅读数 221

评论数 0

python操作mysql数据库

Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。 Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库: GadFly mSQL MySQL PostgreSQL Microsof...

2016-06-21 23:00:17

阅读数 294

评论数 0

基于Bayes和KNN的newsgroup 18828文本分类器的Python实现

基于Bayes和KNN的newsgroup 18828文本分类器的Python实现 向@yangliuy大牛学习NLP,这篇博客是数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现(上)的Python实现。入门为主,没有太多自己的东西。 ...

2016-06-21 17:45:30

阅读数 933

评论数 0

python sklearn做文本分类

文本挖掘的paper没找到统一的benchmark,只好自己跑程序,走过路过的前辈如果知道20newsgroups或者其它好用的公共数据集的分类(最好要所有类分类结果,全部或取部分特征无所谓)麻烦留言告知下现在的benchmark,万谢! 嗯,说正文。20newsgroups官网上给出了3个数据...

2016-06-21 17:24:15

阅读数 3088

评论数 0

Python 文本挖掘:使用gensim进行文本相似度计算

转自:http://rzcoding.blog.163.com/blog/static/2222810172013101895642665/ 在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性。 评论和商品描述的相似度越高,说明评论的...

2016-06-20 23:13:11

阅读数 2844

评论数 0

Python 网页爬虫

转自:http://www.lovelucy.info/python-crawl-pages.html CUHK上学期有门课叫做Semantic Web,课程project是要搜集整个系里面的教授信息,输入到一个系统里,能够完成诸如“如果选了A教授的课,因时间冲突,B教授的哪些课不能选”、“...

2016-06-20 22:56:11

阅读数 235

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭