- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 copytoarray scala
scala> val s = Array('a', 'b', 'c')s: Array[Char] = Array(a, b, c)scala> var xs : Array[Char] = new Array(10)xs: Array[Char] = Array(?, ?, ?, ?, ?, ?, ?, ?, ?, ?)scala> s.copyToArray(xs, 1, 2)
2016-03-30 10:44:51
1552
原创 跑spark作业，众多版本jar包管理
1.jar名命名为main class名，2.记录相关输入输出文件及格式，3.记录作业号4.用web页面中的kill，这样会保存跑作业的情况，命令行中ctrl+c则不会保存
2016-03-18 11:31:27
759
原创 hadoop的log日志查错
1.stderrhttp://datanode31:8042/node/containerlogs/container_1457675328277_0208_01_000002/***/stderr?start=0即可转到相应datanode上查错。2. kill3.warn
2016-03-16 20:58:03
2483
原创 spark编程遇到的问题
问题1：16/03/14 15:22:24 WARN yarn.YarnAllocator: Container killed by YARN for exceeding memory limits. 17.0 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead. 解决：
2016-03-14 15:56:47
5070
1
转载 Vector与ArrayList、Hashtable和HashMap、ArrayList和LinkedList区别
在写java的时候，基本上都喜欢用arraylist，甚至我都不知道有个vector的存在。查了一下发现又是线程安全问题。。。咋个线程安全天天围着我转呢。。。多得阿里巴巴，让我开始认识java的所谓线程安全问题。the following is from：http://blessed24.javaeye.com/blog/7513361. Vector & ArrayList
2016-03-08 10:55:58
358
原创 graph shortestpaths和pregel、mapReduceTriplets等中发送消息方向问题
以mapReduceTriplets代码为例，sendMsg中id决定了接收消息的点，而activeSetOpt: Option[(VertexRDD[_], EdgeDirection)] = None中的EdgeDirection指定了哪些和顶点相邻的边处理sendMsg。如果该方向是in，则作用于目标顶点在VertexRDD中的边。如果方向是out，则作用在那些源顶点在vertexRDD中的
2016-03-08 10:29:21
879
原创 intellij rename module后报错，解决
rename module后出现找不到main；然后重启了intellij，提示无法加载“原module名”，配置run configuration，发现无新名字的module模块。解决：import改名后的module
2016-03-07 20:51:56
3642
1
原创 intellij 和 spark 源码
主体上：http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/详细版：http://www.tuicool.com/articles/3yy67fU均为linux上教程，注：如果你在windows下阅读源代码，建议先在linux下生成项目文件，然后导入到windows中的intellij IDEA中。
2016-03-02 11:25:03
306
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人