2016年10月_javartisan

12月 11月 10月 09月 08月

原创 Spark On Yarn 知识点

1：Adding Other JARs In cluster mode, the driver runs on a different machine than the client, so SparkContext.addJar won’t work out of the box with files that are local(local动词，那些被被本地化到client的

2016-10-10 09:18:43 766

原创 Spark入门遇见的问题2

问题1: 对于RDD的序列化saveAsObjectFile之后，反序列化使用SparkContext.objectFile方法，当时序列化时候必须传入泛型告诉序列化器反序列化之后的对象类型。例如：定义一个样例类： case class Student(name:String,age:Int) val s1=Stude

2016-10-08 15:08:00 676

原创 Spark入门阅读文档笔记2

知识点1： a：Spark支持两种操作，transformations和actions(略) b：所有的transformations都是延迟加载的，spark会记住对于dataset的 transformations，只有当有action触发的时候才会返回结果（这样高效）。这么设计的优点：对于中间结果不用返回给驱动程序

2016-10-08 09:18:31 480

原创 Spark入门遇见的问题1

经理一般折腾之后总算跑通了一个spark wordcount程序，过程中遇到问题进行总结问题1：在使用start-all.sh脚本启动spark集群时候控制台可能会报错：大概意思是说worker启动失败，请去worker节点下的spark_home/logs下查看日志，经过查看日志内容如下：解决方案：关闭防火墙（也许可能是ip映射或者主机名的问题）问题2：

2016-10-06 15:53:06 738

天津大学周伟状态压缩论文

信息学发展势头迅猛，信息学奥赛的题目来源遍及各行各业，经常有一些在实际应用中很有价值的问题被引入信息学并得到有效解决。然而有一些问题却被认为很可能不存在有效的(多项式级的)算法，本文以对几个例题的剖析，简述状态压缩思想及其应用。

2018-09-14

java网络编程第四版源码

2017-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人