- 博客(4)
- 收藏
- 关注
RSS订阅原创 在本地将spark作业运行到远程集群
在本地IDE里直接运行spark程序操作远程集群一般运行spark作业的方式有两种：本机调试，通过设置master为local模式运行spark作业，这种方式一般用于调试，不用连接远程集群。集群运行。一般本机调试通过后会将作业打成jar包通过spark-submit提交运行。生产环境一般使用这种方式。本文介绍第3种方式：在本地将spark作业运行到远程集群中。这种方式比较少见，很多人认为不可
2017-02-25 13:33:18
13471
5
原创 mvn出现GC overhead limit exceeded
.bashrc或.bash_profile中添加export MAVEN_OPTS="-Xms4096m -Xmx4096m -XX:PermSize=1024m -XX:MaxPermSize=1024m"
2017-02-20 11:42:12
2197
原创 mac安装配置hive2.0
参考http://blog.csdn.net/cds86333774/article/details/51135954 http://blog.csdn.net/an342647823/article/details/46048403 http://andrewliu.in/2015/04/25/Mac%E4%B8%8B%E5%AE%89%E8%A3%85Hive%E5%8F%8A%E4%BD%
2017-02-17 11:46:35
1433
原创 Hadoop命令行基本操作
Hadoop 重要的端口 1.Job Tracker 管理界面：50030 2.HDFS 管理界面 ：50070 3.HDFS通信端口：9000 4.MapReduce通信端口：9001 常用访问页面 1. HDFS 界面 http://hostname:50070 2. MapReduce 管理界面 http://hostname:50030格式化
2017-02-06 13:44:42
1344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人