![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据入门
qin_na
这个作者很懒,什么都没留下…
展开
-
java.lang.NoSuchMethodError: com.google.common.collect.Lists.newCopyOnWriteArrayList()Ljava/util/con
问题描述:flink程序本地打包成功后上传到flink环境的机器,使用yarn-cluster的方式在hadoop集群上跑。本地程序跑没有问题,在hadoop上报错。1.背景任务提交命令:/data0/flink/flink-1.8.1/bin/flink run -m yarn-cluster -ys 1 -p 2 -yd -ynm jobname -c pkg.mainClass **...原创 2019-12-31 19:20:42 · 2179 阅读 · 1 评论 -
Spark菜鸟进阶
关于 Spark SQL/DataFrame( Spark1.4.1 版本)Spark SQL 是 Spark 生态系统里用于处理结构化大数据的模块,该模块里最重要的概念就是 DataFrame, Spark 的 DataFrame 是基于早期版本中的 SchemaRDD。Spark DataFrame 以 RDD 为基础,但是带有 Schema 信息,它类似于传统数据库中的二维表格。 Spark原创 2017-12-22 17:02:31 · 6404 阅读 · 0 评论