spark
文章平均质量分 50
羽溪夜
这个作者很懒,什么都没留下…
展开
-
spark读取当前处理数据的文件名
参考 http://hanyingjun318.iteye.com/blog/2277512 环境 idea;sbt; hadoop 在hadoop中读取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPa...转载 2018-04-09 18:24:05 · 4939 阅读 · 0 评论 -
mac编译hadoop,spark
hadoop 编译前提 安装java,maven,jdk,ProtocolBuffer,cmake,openssl 从git上clone hadoop 源码 protocolbuffer安装2.5.0 protocolbuffer下载 ./configure make sudo make install protoc —version #测试 卸载 在终端执行 which protoc 注:...原创 2018-10-17 14:44:44 · 318 阅读 · 0 评论 -
在MapReduce项目中添加spark job
直接在java并行的目录下创建scala文件,并标注为源代码目录,在test中也添加scala目录,然后添加spark相关依赖即可。 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark&...转载 2019-05-17 11:52:44 · 225 阅读 · 0 评论