一些单机处理大数据开源工具

原创 2013年12月01日 22:28:11

1. LibFM

项目主页:http://www.libfm.org/


2. Svdfeature

项目主页:http://apex.sjtu.edu.cn/apex_wiki/svdfeature


3. Libsvm和Liblinear

libsvm项目主页:http://www.csie.ntu.edu.tw/~cjlin/libsvm/

liblinear项目主页:http://www.csie.ntu.edu.tw/~cjlin/liblinear/

初次使用必读:practical guide

libsvm的开发心得by林智仁:http://www.csie.ntu.edu.tw/~cjlin/talks/kdd.pdf


4. rt-rank

项目主页:http://research.engineering.wustl.edu/~amohan/

rt-rank中实现了推荐系统中常见的random forests和gradient boosted decision trees这两种方法,使用起来很方便。


3. Mahout

项目主页:http://mahout.apache.org/


4. MyMediaLite

项目主页:http://www.ismll.uni-hildesheim.de/mymedialite/


4. GraphLab 和 GraphChi

GraphLab项目主页:http://graphlab.org/ 

GraphChi项目主页:http://graphlab.org/graphchi/

GraphChi的下载地址:https://code.google.com/p/graphchi/downloads/detail?name=graphchi_src_v0.1.2_toolkits.tar.gz

GraphChi介绍:http://www.technologyreview.com/news/428497/your-laptop-can-now-analyze-big-data/?nlid=nldly&nld=2012-07-17

CF for GraphChi: http://bickson.blogspot.com/2012/08/collaborative-filtering-with-graphchi.html


5. scikit-learn

scikit-learn项目主页:http://scikit-learn.org/stable/


6. libNMF

libNMF项目主页:http://www.univie.ac.at/rlcta/software/


7. lbfgs

lbfgs早期版本(Fortran实现):http://www.ece.northwestern.edu/~nocedal/lbfgs.html

c实现版本:http://www.chokkan.org/software/liblbfgs/

离线轻量级大数据平台Spark之单机部署及Java开发

1、Spark平台基本介绍 Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and PeopleLab) 开发,可用来构建大型的、低延迟的数据分析应用程...
  • fjssharpsword
  • fjssharpsword
  • 2016年10月27日 08:55
  • 2590

[喵咪大数据]Hadoop单机模式

千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务...
  • u011142688
  • u011142688
  • 2017年12月11日 11:24
  • 82

大数据生态之开源工具简介

大数据生态之开源工具简介说是搞大数据,其实只能叫做水大数据,也水了两年多了。个人对大数据的理解主要简单地分为两个大方向吧,一个是算法(机器学习,深度学习),另外一个就是开发工具,从hadoop到yar...
  • bagba
  • bagba
  • 2016年06月16日 19:23
  • 811

强烈推荐!大数据领域的顶级开源工具大集合

随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。   如今,从小型初创企业到行业巨头,各种规模的供应商都在使用开源来处理大数据和运行预测分析。借助开源与云计算技...
  • ShiZhixin
  • ShiZhixin
  • 2015年07月14日 17:19
  • 1860

单机处理大数据

http://www.csdn.net/article/2013-11-12/2817457-how-mac-mini-surpass-a-1636-hadoop-cluster
  • qfsun
  • qfsun
  • 2013年11月13日 09:11
  • 606

大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择1,服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置...
  • qazwsxpcm
  • qazwsxpcm
  • 2017年11月26日 16:18
  • 956

史上最全开源大数据工具汇总

查询引擎 Phoenix Salesforce公司出品,Apache HBase之上的一个SQL中间层,完全使用Java编写 Stinger 原叫Tez,下一代Hive...
  • y87329396
  • y87329396
  • 2016年04月09日 16:53
  • 303

大数据开源工具

具体介绍详情见 : http://www.36dsj.com/archives/35050
  • xingchenhy
  • xingchenhy
  • 2017年06月27日 17:15
  • 122

Bossies 2016:最佳开源大数据工具

导读 在今年的 Bossie开源大数据工具中,你会发现最新最好的方法是利用大型集群进行索引、搜索、图形处理、流处理、结构化查询、分布式OLAP和机器学习,因为众多处理器和RAM可降低工作量级。 ...
  • snow2know
  • snow2know
  • 2017年02月23日 22:31
  • 601

如何评估服务器的单机处理能力

    如果评估一台server的单机接入和处理能力? 每秒钟能支持多少并发请求? 当你的leader问你这个问题的时候,你知道怎么应对吗?     其实这个问题并不难,首先要评估一下这个server...
  • nellson
  • nellson
  • 2009年12月05日 12:59
  • 2083
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:一些单机处理大数据开源工具
举报原因:
原因补充:

(最多只允许输入30个字)