![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
canglingye
这个作者很懒,什么都没留下…
展开
-
关于SparkMLlib的基础数据结构Spark-MLlib-Basics
此部分主要降价写关于MLlib的集中基础的数据结构原创 2014-11-20 17:07:43 · 22772 阅读 · 10 评论 -
kill掉yarn正在运行的job
在yarn的安装目录下的bin文件夹中,运行命令./yarn application -status application_1416899352676_0008。具体的命令格式可以通过执行./yran获取原创 2014-12-26 10:41:48 · 27861 阅读 · 0 评论 -
Spark不常用的参数调节
内容基本都来自:http://spark.apache.org/docs/1.0.2/tuning.html,自己随手记下来点东西。数据序列化对于分布式框架来说,牵扯到数据传输的问题,故序列化问题非常重要。在spark中,默认采用的是java的序列化(java.io.Serializable),此种序列化的效率较低。建议采用Kryo serialization的序列化方法,但是此种方法的不足之处原创 2015-03-18 15:53:27 · 1106 阅读 · 1 评论