- 博客(3)
- 资源 (5)
- 收藏
- 关注
原创 ubuntu中使用docker从零开始搭建hadoop、spark的集群环境
一、Docker环境搭建二、Docker镜像操作查看当前仓库中的镜像docker images远程拉取镜像如果当前本地仓库中没有ubuntu镜像,可以从远程仓库中拉取(https://hub.docker.com)或者使用其他ubuntu镜像,如docker pull daocloud.io/ubuntu使用镜像创建容器使用ubuntu镜像创建一个容器,并进入docker run -it daoc...
2018-04-20 23:05:00 4376 1
原创 在Windows下使用Hadoop 分布式缓存时遇到的bug
错误提示:WARN [main] fs.FileUtil (FileUtil.java:symLink(824)) - Fail to create symbolic links on Windows. The default security settings in Windows disallow non-elevated administrators and all non-administ...
2018-04-08 22:04:55 1297
原创 Spark中广播变量的作用(foreach往map添加数据后没有数据)
给定如下代码:import org.apache.spark.{SparkConf, SparkContext} object draft2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("评分").setMaster("local") val sc = new ...
2018-04-03 15:50:55 2913 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人