- 博客(10)
- 收藏
- 关注
RSS订阅转载 ubuntu下创建eclipse桌面快捷方式
ubuntu下创建eclipse桌面快捷方式http://www.cnblogs.com/qq19831030qq/archive/2012/05/09/2491275.html1.终端代码 ：sudo gedit /usr/share/applications/eclipse.desktop 然后在弹出的文件中输入：[cpp] vi
2016-11-22 10:41:28
313
转载 打包并提交运行Spark应用程序jar包
基于eclipse的Spark IDE可在 http://scala-ide.org/ 下载。以WordCount为例： package com.lxw.test import org.apache.spark.{SparkConf, SparkContext}import SparkContext._ object WordCount { def main (args: Arr
2016-11-22 09:56:56
9063
转载 Spark的算子的分类
Spark的算子的分类 Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Acti
2016-11-18 20:51:06
3167
转载 Hadoop提供的reduce函数中Iterable 接口只能遍历一次的问题
之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次 Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？还是用代码说话：[java] view plain copypackage com.test;
2016-11-17 16:14:25
2231
转载 Spark RDD API详解(一) Map和Reduce
Spark RDD API详解(一) Map和ReduceSparkRDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转
2016-11-16 14:09:51
349
原创 算法第四版练习题答案
算法第4版练习题答案Algorithms 4th edition exercise answers.1FUNDAMENTALS1.2.13Transaction.javatransactiondatatype1.2.16Rational.javarationalnumb
2016-11-15 10:20:02
12057
原创 Giraph 单机及集群上运行任务命令说明
Giraph 单机及集群上运行任务命令说明单机运行 Giraph 任务 在单机运行 Giraph 任务之前，确保已经设置了 HADOOP_CONF_DIR 环境变量的值命令行输入 $ export HADOOP_CONF_DIR=$GIRAPH_HOME 设置过环境变量后，就可以执行自己的任务了$ giraph [jar文件路径] [类名] -vif [节点输入格式的类名] -vip [
2016-11-11 19:06:29
541
转载 scala 学习笔记-持续更新中
scala 学习笔记-持续更新中学习列表：scala官方文档scala cheattwitter Scala 课堂有趣的 Scala 语言: 使用递归的方式去思考《scala 编程》几乎一切乎都是表达式scala> 1 + 1res0: Int = 2复合表达式——{}花括号用于创建复合表达式，复合表达式的返回值是最后一
2016-11-11 15:01:38
799
原创 运行 Giraph 提示 too many counters
运行 Giraph 提示 too many counters在加入 -ca mapreduce.job.counters.limit=1000 后，仍然运行失败16/10/20 08:56:08 INFO job.GiraphJob: Waiting for resources... Job will start only when it gets all 2 mappers16/10/20 08
2016-11-10 10:06:14
1385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人