mapreduce
文章平均质量分 63
lihui是猪
中聚智能科技有限公司,工程师。
展开
-
mapreduce shuffle 阶段的逻辑分析
比较简单,用一个图就可以解释清楚了,该逻辑使用在gpu mapreduce: https://github.com/bdyunmu/gpumapreduce.git原创 2018-05-14 15:26:37 · 118 阅读 · 0 评论 -
apache hadoop-2.6.0-CDH5.4.1 安装
apache hadoop-2.6.0-CDH5.4.1 安装1.安装Oracle Java 8sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installersudo vi /etc/profile#set java environmentex...转载 2018-05-24 10:35:57 · 478 阅读 · 0 评论 -
spark-2.2.0安装和部署
Spark下载为了方便,我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz1Spark安装之前的准备文件的解压与改名tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz1rm -rf spark-2.2....转载 2018-05-24 10:47:43 · 1505 阅读 · 0 评论 -
各模式下运行spark自带实例SparkPi
此系统是ubuntu,spark版本是1.0.0(下载的不是源码,而是编译好的,在我的其他文章里有下载网盘地址),hadoop版本2.2.0,scala版本2.10.41.spark-sunbmit命令:spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令,对于spark1.0以后做出了改进,使用$SPARK_HOME/bin/spark-sub...转载 2018-09-22 15:02:06 · 12554 阅读 · 0 评论