2016年10月_上海菁数信息——实时数字智能

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 ubuntu的系统装载hadoop spark等配件空间全部被占满了

如题，TAB补全或者touch mkdir时出现了系统没有可用空间的提示检查 /var/log/cups/有TB级大量 error信息删除后重新启动问题解决可能跟长期没有关闭 spark-shell 等任务有关有待后面研究解决

2016-10-31 15:21:09 3111

原创解决spark-shell执行官方sparkstreaming 报 only one sparkcontext maybe running in this jvm的错误

解决：不执行蓝字，更改红字为 val ssc = new StreamingContext(sc, Seconds(1))=====================================================================import org.apache.spark._import org.apache.spark.streaming._

2016-10-18 15:35:26 7849

原创上传本地文件到HDFS spark可以直接使用

spark进行运算时需要先将数据转换成RDD，然而很多数据是本地的，textFile调用不方便而且耗时耗性能（添加file:///使用）。所以有了将本地数据先上传至HDFS的现实业务需求。1. 创建文件（使用已有文件夹跳过此步）切换到hadoop 安装目录（如果在bash中设置过了，这步不是必须的），启动hadoop（启用HDFS，yarn不是必要的）然后输入命令：bin/

2016-10-12 13:23:45 8094 3