![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
编程遇到的问题和解决方法
henrysunUST
这个作者很懒,什么都没留下…
展开
-
[Spark] 循环,合并,如何提速?——初学者Naive方法
一些时候,我们在for循环中使用Spark函数,同时想对每个loop的结果进行合并,或许是左右合并,或许是上下合并。 例如,一个naive的图画, 当然,上面的例子需要保证2者有共同的列,下面需要保证列的数量、内容相同。 基本操作: // 左右拼接 C = A.join(B, based_on_col="XXX") // 上下拼接 C = A.union(B) 可是,我在很多时候发现,此种代码很多情况下奇慢无比??? 说好的Spark处理大数据呢???骗我吗??? 经过我多番搜寻.原创 2021-07-21 17:21:41 · 384 阅读 · 0 评论 -
【2种办法】Windows命令行-如何解决Intellij IDEA输出的jar文件报错:Could not find or load main class?
第一,偷懒。 选择下面这个选项,然后Intellij会创建1个文件夹,例如名字为 xyz。 命令行输入: cd xyz java -jar xyz.jar 解决问题。 第二,依旧选择上面的选项,“extract to the target JAR”. 注意了,如果你的dependency很多,那么部分会有数字签名!!! 输出JAR后,数字签名可能被损坏!!! 你需要,用解压软件打开这个jar,点开META-INF文件夹,删除“DUMMY.DSA”和“DUMMY.SF” (即任何带有 .原创 2021-07-19 15:47:36 · 1403 阅读 · 3 评论