![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
出错记录。
这里主要记录的是我曾经犯过的错误。
啊帅和和。
大数据小白,逐渐进阶。
展开
-
将所有的空格换成逗号
我这两天一直很苦恼一个数据处理不了,处理不了并不是不会处理和不会逻辑,苦恼的原因在于这一组数据都是以 \t 分割开来的,我很难过这一组数据不管我怎么处理最后的结局都是一样的,就是还是原来那组数据不给变化,我就尝试着把这组数据放进记事本,放进nodepad++,最后还是不能处理,就很苦恼,后来发现直接在shell里面操作就可以了。原来的数据:可以看到都是以 \t 分割的但其实只要把这个数据放进shell里面,然后做一些小魔法就行了。cat part-00000|tr “\t” “,” > pa原创 2021-10-12 21:22:55 · 1383 阅读 · 2 评论 -
SparkStreaming运行报错: For input string: “jdbc.datasource.size“
报错赏析: For input string: “jdbc.datasource.size”我在运行一个SparkStreaming的程序时,一直提示我缺少什么什么jar包,后来仔细观察才发现错误的根源在这。“For input string” 就是在告诉我们,想把“jdbc:datasource.size”转换成string类型时出错,后来发现是我自己忘记改了,羞愧难当。感谢阅读,我是啊帅和和,大数据专业大三学生,祝你快乐。...原创 2021-02-23 11:52:51 · 381 阅读 · 0 评论 -
spark报错:SparkContext: Error initializing SparkContext
今天早上在写一个.scala代码时,控制台一直出现这个错误。原本以为这个错误是找不到URL地址,不能使用local[*]这种模式,后来发现这个错误的根本是在上一行,也就是:SparkContext: Error initializing SparkContext原因是初始化SparkContext时出现的问题。1.val config:SparkConf = new SparkConf().setMaster(“Local[*]”).setAppName(“ahehe”)2.val sc = n原创 2020-11-28 11:08:16 · 6522 阅读 · 2 评论 -
错误记录:Method all should have no parameters
今天在测试使用Java操作hdfs的时候,出现了这个错误,后来百度翻译告诉我们“方法不应该有参数”回到我们的Java代码,发现@Before修饰的main中带有参数,去掉即可妥了感谢阅读,我是啊帅和和,一位大数据专业大四学生,祝你快乐。...原创 2021-09-18 12:17:05 · 914 阅读 · 0 评论