Dpark的安装测试

最新推荐文章于 2019-01-07 19:44:11 发布
最新推荐文章于 2019-01-07 19:44:11 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： MachineLearning 文章标签： Dpark的安装测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuxuejiang158blog/article/details/26363317
版权
本文记录了豆瓣Dpark的安装过程及测试体验。首先从GitHub克隆DPark源码，然后通过Python进行安装。最后，通过蒙特卡洛模拟计算π值，验证其功能。
摘要由CSDN通过智能技术生成

  dpark是豆瓣克隆的spark的高效分布式框架，安装测试了下，做个笔记

1 下载：git clone https://github.com/douban/dpark.git 

2 进入dpark目录运行：python setup.py install

3 测试代码，使用蒙特卡洛模拟计算π值：

最低0.47元/天 解锁文章
liuxuejiang158
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DPark安装及相关资料整理
weixin_30872671的博客
06-18 146
最近需要处理海量数据的分布式计算及数据挖掘，经过多次选择(hadoop,Spark,DPark)，最后还是选择了DPark，主要是看中DPark的轻量级及python的灵活性，且除了豆瓣外，在几个友公司都有成功的应用案例。 不过很痛苦的是DPark的资料太少了，连github上的官方wiki都不够详细，暂时只能主要靠自己摸索。 这篇文章主要记录DPark的一些资料及我在安装时的一些问题（其实基...
Dpark简介
sinat_32651363的博客
06-07 4206
DparkDpark-AND-SparkDpark：Dpark是国内豆瓣公司根据Spark进行的克隆版本的实现DPark 是一个类似MapReduce 的基于Mesos（Apache 下的一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享等功能）的集群并行计算框架（Cluster Computing Framework），DPark 是Spark 的Python克隆版本，是一个Pyt...
Dpark与Spark的区别
sanqima的专栏
04-20 5020
Dpark 是Spark 的Python克隆版本，是一个用Python 实现的分布式计算框架，可以非常方便地实现大规模数据处理和低延时的迭代计算。该计算框架类似于MapReduce，但是比其更灵活，可以用Python 非常方便地进行分布式计算，并且提供了更多的功能，以便更好地进行迭代式计算。Dpark 由国内的豆瓣公司开发实现和负责维护，据豆瓣公司的描述，目前豆瓣公司内部的绝大多数数据分析都使用Dp
【Python】Windows下安装Dpark
ns2250225
02-04 1945
GitHub下载项目文件： https://github.com/douban/dpark/ 解压文件： 打开setup.py文件注释掉lz4(不然会出现问题，lz4另外自己安装,若出现问题则全部注释，逐个pip install) 安装VS，参考这里修改好自己的msvc9compiler.py文件 安装LZ4： 打
【Python】Dpark例子分析
ns2250225
02-04 3220
工作流程分析： PI例子，构造数组RDD并处理： #-*- coding: utf-8 -*- # Dpark的估算pi例子,构造数组RDD处理 from dpark import DparkContext from random import random import dpark #定义取点总数，越多越精确 N = 100000 #定义map()转换函数，用于将RDD转变成新的
dpark83.github.io
03-31
dpark83.github.io
dpark：Spark的Python克隆，Python中的MapReduce相似框架
02-05
**dpark：Spark的Python克隆与MapReduce框架** dpark是基于Python的分布式计算框架，它是Apache Spark的Python版本克隆，旨在提供类似于Spark的编程接口和功能，但完全用Python编写，使得Python开发者可以方便地...
Python-分布式计算框架DPark
08-10
DPark 是 Spark 的 Python 克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark 完成。
dpark, 在 python 中，Spark的python 克隆，一个MapReduce相似的框架.zip
09-18
dpark, 在 python 中，Spark的python 克隆，一个MapReduce相似的框架 DPark DPark是Spark的python 克隆，类似于支持迭代计算的MapReduce(R) 计算框架。单词计数( wc.py )的示例：import dparkfile = dpark.textFi
python celery分布式任务队列的使用详解
01-01
一、Celery介绍和基本使用 Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的...
【python】Dpark源码分析
ns2250225
02-04 1849
关于Dpark的PDF： http://velocity.oreilly.com.cn/2011/ppts/dpark.pdf 源码分析： Dpark/Spark中最重要的核心就是RDD（弹性分布式数据集，Resilient Distributed Datasets），为了给今后的分析打下基础，这篇文章首先会解释RDD相关的重要概念。接着会简单介绍dpark中的另外两
DPark
天枢的博客
01-04 433
#简介 python 内存计算 是Spark的Python实现版本 #DPark是一个基于Mesos的集群计算框架(cluster computing framework)，是Spark的Python实现版本，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的功能以便更好的进行迭代式计算。 http://hao.jobbole.co
Spark 的基本使用
谦卑t
01-07 6376
6、Spark 的基本使用   6.1、执行第一个 Spark 程序 利用 Spark 自带的例子程序执行一个求 PI（蒙特卡洛算法）的程序： $SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://hadoop02:7077 \ --executor-memo...
python scikit-learn计算tf-idf词语权重
热门推荐
liuxuejiang158的专栏
06-16 7万+
python的scikit-learn包下有计算tf-idf的api，研究了下做个笔记 1 安装scikit-learn包 sudo pip install scikit-learn 2 中文分词采用的jieba分词，安装jieba分词包 sudo pip install jieba 3  关于jieba分词的使用非常简单，参考这里，关键的语句就是(这里简单试水，不追求效
R在地图上画经纬度点
liuxuejiang158的专栏
10-15 1万+
根据某电信运行商基站清单数据，通过经纬度信息画出这些点在北京的分布，R，数据集就不给出了，最后代码中给出了处理后真正作图的样本数据 library(ggmap) library(mapproj) #google给我Beijing的公路地图数据吧 bjmap <- qmap('beijing', zoom = 12, maptype = 'roadmap') jingweidu=read.c
R笔记
liuxuejiang158的专栏
11-28 1万+
length(x)针对向量返回长度，针对列表或者数据框返回维数 dim(x)//显示x的维度 str(x)//显示x的结构 class(x)//x的对象类型 mode(x)//对象模式 names(x)//对象中各成分的名称 head(x)//显示x的开始部分 tail(x)//显示x的最后部分 edit(x)/fix(x)//编辑x options()//全局选项设定，如opt
R语言igraph作社团挖掘结果图
liuxuejiang158的专栏
01-15 9748
利用R语言的igraph作社团挖掘的图 输入：网络拓扑文件(边);社区划分结果文件(顶点  社区号) 输出：社区划分的结果图 代码： ######测试代码###### if(T){ library(igraph) library(grDevices) rm(list=ls()) network=read.csv("./dataset/data/karate.txt",sep
Rcpp实战
liuxuejiang158的专栏
11-25 6785
Rcpp比传统的R API简洁易用，更加类似C++了。Rcpp采用的Robject管理R传来的对象，如： cpp::NumericVector ab = Rcpp::NumericVector::create(123.45, 67.89);创建一个2个值的数值型向量，可以直接用下标操作[]取到元素值。         template SEXP wrap(const T& object);
Dpark与Spark的关系是什么？
最新发布
07-31
DPark实际上是建立在Apache Spark之上的一个库，它通过封装和简化Spark的API，提供了类似于Pandas DataFrame的交互式数据处理接口。DPark的设计初衷是为了让开发者能更容易地进行数据分析，尤其是那些对内存效率有较高需求的应用。然而，随着Spark自身的发展和改进，Spark SQL以及后来的Databricks Delta Lake等解决方案已经提供了更为完整的功能和易用性，因此DPark虽然在某些特定场景下仍有其价值，但在现代大数据处理中，Spark已经成为首选的平台。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值