大数据
小王子的花裙子
这个作者很懒,什么都没留下…
展开
-
在mvn项目里添加spark_sql依赖
需要在pom.xml文件里添加如下代码 org.apache.spark spark-sql_2.10 1.5.0原创 2016-07-05 15:08:28 · 1969 阅读 · 0 评论 -
yarn模式运行spark
yarn上启动spark有二种模式:yarn-client模式 和 yarn-cluster模式yarn-cluster模式:框架在集群中启动Driver程序yarn-client模式:框架在client中启动Driver程序master 参数可以简单配置成yarn-client 或者 yarn-cluster./bin/spark-submit --class 类名 --mast原创 2016-07-05 15:09:33 · 352 阅读 · 0 评论 -
hadoop 里常用命令
netstat -tunlp |grep 端口号 查看端口号是否被占用hadoop dfsadmin -report 看datanodesps aux|grep hadoop|grep NodeManager 查看NodeManager进程bin/yarn node -list 查看yarn节点hadoop fs -mkdir /filename 在原创 2016-07-05 15:05:01 · 480 阅读 · 0 评论 -
hadoop spark全真式分布集群配置
hadoop ,spar分布式集群配置原创 2016-06-21 17:46:11 · 947 阅读 · 0 评论 -
MapReduce 2 的工作机制
原地址:MapReduce 工作机制运行流程当你在MapReduce程序中调用了Job实例的Submit()或者waitForCompletion()方法,该程序将会被提交到Yarn中运行 其中的过程大部分被Hadoop隐藏起来了,对开发者来说是透明的 程序运行的过程涉及到个概念:1.Client:提交程序的客户端 2.ResourceManager:集群中转载 2017-05-18 15:42:00 · 681 阅读 · 0 评论