Du939的博客

Spark 超大数据量下OOM的解决

省流： add if not exists partition

1. 权限问题如果报错 -bash: ./test.sh: Permission denied可以通过下面的命令添加权限：chmod u+x test.sh或chmod a+x test.sh2. 文件格式问题如果报错 command not found按照如下命令，依次输入，三步修改格式：vi test.sh:set ff=unix（改格式）:wq（保存）3. 文件问题【大坑】如果报错 line x: 某变量:command not found这里

在获取 Hadoop 文件系统对象时，如下所示 FileSystem fs = FileSystem.get(hdfsUrl,configuration);错误一如果收到以下错误："No FileSystem for scheme:hdfs"可以通过在配置中设置以下 2 个属性来解决它configuration.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");configuration.s