- 博客(8)
- 资源 (1)
- 收藏
- 关注
转载 copytoarray scala
scala> val s = Array('a', 'b', 'c')s: Array[Char] = Array(a, b, c)scala> var xs : Array[Char] = new Array(10)xs: Array[Char] = Array(?, ?, ?, ?, ?, ?, ?, ?, ?, ?)scala> s.copyToArray(xs, 1, 2)
2016-03-30 10:44:51 1561
原创 跑spark作业,众多版本jar包管理
1.jar名命名为main class名,2.记录相关输入输出文件及格式,3.记录作业号4.用web页面中的kill,这样会保存跑作业的情况,命令行中ctrl+c则不会保存
2016-03-18 11:31:27 774
原创 hadoop的log日志查错
1.stderrhttp://datanode31:8042/node/containerlogs/container_1457675328277_0208_01_000002/***/stderr?start=0即可转到相应datanode上查错。2. kill3.warn
2016-03-16 20:58:03 2510
原创 spark编程遇到的问题
问题1:16/03/14 15:22:24 WARN yarn.YarnAllocator: Container killed by YARN for exceeding memory limits. 17.0 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead. 解决:
2016-03-14 15:56:47 5097 1
转载 Vector与ArrayList、Hashtable和HashMap、ArrayList和LinkedList区别
在写java的时候,基本上都喜欢用arraylist,甚至我都不知道有个vector的存在。查了一下发现又是线程安全问题。。。咋个线程安全天天围着我转呢。。。多得阿里巴巴,让我开始认识java的所谓线程安全问题。the following is from:http://blessed24.javaeye.com/blog/7513361. Vector & ArrayList
2016-03-08 10:55:58 366
原创 graph shortestpaths和pregel、mapReduceTriplets等中发送消息方向问题
以mapReduceTriplets代码为例,sendMsg中id决定了接收消息的点,而activeSetOpt: Option[(VertexRDD[_], EdgeDirection)] = None中的EdgeDirection指定了哪些和顶点相邻的边处理sendMsg。如果该方向是in,则作用于目标顶点在VertexRDD中的边。如果方向是out,则作用在那些源顶点在vertexRDD中的
2016-03-08 10:29:21 890
原创 intellij rename module后报错,解决
rename module后出现找不到main;然后重启了intellij,提示无法加载“原module名”,配置run configuration,发现无新名字的module模块。解决:import改名后的module
2016-03-07 20:51:56 3677 1
原创 intellij 和 spark 源码
主体上:http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/详细版:http://www.tuicool.com/articles/3yy67fU均为linux上教程,注:如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。
2016-03-02 11:25:03 315
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人