![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
知己比邻
这个作者很懒,什么都没留下…
展开
-
spark踩过的坑
在启动spark-shell时候遇到报错,Failed to start database "metastore_db" with class数据库初始化修改的方法:mv metastore_db merastore_db1原创 2018-05-01 20:43:50 · 323 阅读 · 0 评论 -
安装日志采集服务器nginx
在Ubuntu上进行日志服务器的安装我使用的环境是64位 Ubuntu 14.04。nginx依赖以下模块:gzip模块需要 zlib 库rewrite模块需要 pcre 库ssl 功能需要openssl库1.1.安装pcre获取pcre编译安装包,在http://www.pcre.org/上可以获取当前最新的版本解压缩pcre-xx.tar.gz包。进入解压缩目录,执行./configure。m...转载 2018-05-30 14:24:09 · 693 阅读 · 0 评论 -
Graphx中踩过的坑
用到这种情况,有的节点是没有属性的,有的节点是有属性的 val a1=a.mapVertices( (id,attr)=>{ if(attr==null) (Array(id.toString+id.toString+0.toString+0.toString)) else attr } ) 用mapvertive进行设置默认属性...原创 2018-07-23 15:17:16 · 966 阅读 · 0 评论 -
spark
val rdd1=sc.parallelize(arr)//将scala集合转换成为spark trans rdd1.filter(_%2!=0).collect//在colllect一下才会执行 spark的启动方式 bin/spark-submit原创 2018-07-23 15:17:43 · 129 阅读 · 0 评论