hadoop
sharecord
向代码致敬,寻找你的第83行
展开
-
hadoop集群设置ssh免密登录
1、打开三个节点2、创建密钥 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa3、追加密钥到autorized_keys文件,并设置权限$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$chmod 0600 ~/.ssh/authorized_keys4、登陆本机原创 2018-05-09 20:44:01 · 3074 阅读 · 2 评论 -
启动Hadoop报错:slave1: datanode running as process 2477. Stop it first.
解决方法: 进程已经在运行中了,在bin模流下执行 $./stop-all.sh 然后再执行 $./start-all.sh原创 2018-05-10 22:19:33 · 8792 阅读 · 0 评论 -
Hadoop构造模块以及Hdfs知识点总结
1、HDFS的设计HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。 2、HDFS的概念HDFS数据块:HDFS上的文件被划分为块大小的多个分块...原创 2018-05-12 21:13:45 · 720 阅读 · 0 评论 -
hadoop常用命令
hadoop dfs -ls <path> 列出文件或目录内容如果是文件,则按照如下格式返回文件信息:文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID如果是目录,则返回它直接子文件的一个列表,就像在Unix中一样。目录返回列表的信息如下:目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID示例:hadoop dfs -ls /...原创 2018-05-12 21:14:35 · 447 阅读 · 0 评论 -
Hadoop执行 hadoop dfs 报错:bash: hadoop: command not found
执行 hadoop dfsadmin -safemode leave 命令时,遇到下面的问题:[java] view plain copy [root@Slave1 bin]# hadoop dfsadmin -safemode leave bash: hadoop: command not found 原因是/etc/profile里面没有进行hadoop的相关配置对该文件进行修改并使其生效...原创 2018-05-12 21:21:51 · 3445 阅读 · 0 评论