小万万的博客

大数据

yarn 状态转换图

Yarn 状态转换图

2017-06-21 00:25:22

阅读数 357

评论数 0

jupyter软件的安装

jupyter notebook

2017-06-19 15:11:05

阅读数 640

评论数 0

Hadoop 任务重要参数整理

后台服务进程信息查看 conf jmx logs logLevel stacks 调试信息 set hive.execution.engine=mr; set yarn.nodemanager.delete.debug-delay-sec=1200; 日志保留时间,单位:秒...

2017-06-14 17:48:05

阅读数 895

评论数 0

hadoop job yarn 命令

hadoop命令行 与job相关的: 命令行工具 •  1.查看 Job 信息: hadoop job -list  2.杀掉 Job:  hadoop  job –kill  job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-di...

2017-06-13 10:46:09

阅读数 542

评论数 0

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ...

2017-06-07 15:21:11

阅读数 270

评论数 0

spark 集群安装

下载安装文件 配置Spark-env.sh 和spark-default.propertiessbin/start-master.shslaver节点启动 worker./start-slave.sh spark://cnsz046690:7077scp -r spark-2.1.1-bin-...

2017-06-07 11:24:20

阅读数 457

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭