hadoop
the_conquer_zzy
计算机科学与技术专业
展开
-
hadoop 学习总结系列 (一)
版本 2.8 ResourceManager: RM ApplicationManager: AM NodeManager :NMRM 是一个资源管理和调度器。 一个集群只有一个。 发布一个yarn application 的流程是:yarn client 和RM 通信,创建AM ,AM是RM 创建的并且也是一个container。 AM 和RM 通信创建 NM, AM是yar原创 2017-10-25 14:42:46 · 315 阅读 · 0 评论 -
hadoop 学习总结系列 (二 ) 查看日志
如何用CLI 查看日志yarn logs -applicationId ${application_Id}可以用来查看log,当且仅当 appliation 已经执行完毕,且 yarn.log-aggregation-enable =true (默认为false)当开启上述聚合标志后, 那么yarn又是怎么操作的呢?这其中的流程是怎么样的呢?流程如下: 1. 执行具体程序的contain原创 2017-10-25 17:02:50 · 332 阅读 · 0 评论 -
Mongo DB java 起步操作,连接数据库,查询语句
首先, 下载mongo-java_driver maven 依赖如下 <dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</artifactId> <version>3.5.0</version> </dependency>导入相关类。import com.mo原创 2017-12-20 14:50:54 · 355 阅读 · 0 评论 -
mongodb 免费可视化关系工具 Robo 3T
Robo 3T 是一款叫mongodb 可视化工具, 是一个免费版本,还有个付费版本叫Studio 3T 官网 https://robomongo.org/解压后直接bin启动相应脚本就可以了,非常好用原创 2017-12-14 16:14:51 · 11718 阅读 · 3 评论 -
hadoop 学习系列总结(三) hadoop 简易配置,及启动 起步
主题思想: 总结下hadoop 相关的简易设置hadoop 相关的配置文件,主要core-default.xmlcore-site.xmlhdfs-default.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml其中default.xml 无法看到,,根据源码, 会先加载 core-default.xml 然后是c原创 2018-01-26 17:13:19 · 238 阅读 · 0 评论