- 博客(6)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 hadoop操作HDFS文件权限问题
在window下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/":root
2015-09-24 00:31:03
9040
原创 使用MAVEN搭建Haoop开发环境
1.创建工程mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false 2.在Pom.xml文件中添加Hadoop依赖的包（hadoop-common, hadoop-c
2015-09-23 23:21:11
694
原创 Hadoop 中Yarn的理解
YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。YARN 分层结构的本质是 ResourceManager。 这个实体控制整个集群并管理应用程序向基础计
2015-09-22 19:34:41
826
原创 Linux 中netstat 的10个基本用法
Netstat 简介Netstat 是一款命令行工具，可用于列出系统上所有的网络套接字连接情况，包括 tcp, udp 以及 unix 套接字，另外它还能列出处于监听状态（即等待接入请求）的套接字。如果你想确认系统上的 Web 服务有没有起来，你可以查看80端口有没有打开。以上功能使 netstat 成为网管和系统管理员的必备利器。在这篇教程中，我会列出几个例子，教大家如何使用 netstat 去查
2015-09-10 23:12:49
1990
1
原创 Hadoop2的automatic HA+Federation+Yarn
在这里我们选用4台机器进行示范，各台机器的职责如下表格所示 hadoop0 hadoop1 hadoop2 hadoop3 是NameNode吗? 是，属集群cluster1 是，属集群cluster1 是，属集群cluster2 是DataNode吗？ 否 是 是 是JournalNode吗？ 是 是 是 是ZooKeeper吗？
2015-09-03 18:09:11
452
原创 SSH 免密码登陆
配置Hadoop集群分布时，要使用SSH免密码登录，假设现在有两台机器root@hadoop(192.168.10.100)，作为A机，root@hadoop1(192.168.10.107)，作为B机。现想root@hadoop通过ssh免密码登录到root@hadoop1。在A机下生成公钥/私钥对。[root@hadoop ~]#ssh-keygen -t rsa它在/home/hadoop
2015-09-02 22:33:10
452
MySQL 远程连接后建表问题
2015-08-15
Hadoop分布式搭建时，在主节点JPS找不到JobTracker进程
2015-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人