![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
涵宇菲子
这个作者很懒,什么都没留下…
展开
-
Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
刚配置Hadoop2.7.1 格式化namenode时报出这个这个错误/************************************************************SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx: xxx: Name or service not原创 2017-03-12 21:52:25 · 32251 阅读 · 1 评论 -
Mac下Hadoop单机模式安装
一、安装Hadoop1、配置ssh配置ssh就是为了能够实现免密登录,这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。如果机子没有配置ssh的话,在命令终端输入ssh localhost是需要输入你的电脑登录密码的。配置好ssh后,就无需输入密码了。第一步就是在终端执行" ssh-keygen -t rsa -P ‘’ ",之后一路enter键,当然如果你之前...原创 2019-01-28 11:49:06 · 3265 阅读 · 0 评论 -
Hadoop HDFS基本操作
HDFS拥有超大型的数据量,并提供更轻松地访问。为了存储这些庞大的数据,这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失,在发生故障时。 HDFS也使得可用于并行处理的应用程序。基本介绍特点:1、它适用于在分布式存储和处理。2、Hadoop提供的命令接口与HDFS进行交琵3、名称节点和数据节点帮助用户内置的服务器能够轻松地检查集群的状态。4、流式访问文件...原创 2019-01-28 11:52:36 · 408 阅读 · 0 评论 -
Hadoop fs 命令
1、ls 列出路径指定的目录中的内容,示出了名称,权限,拥有者,大小和修改日期的每个条目。root:hadoop2.9 home$ bin/hadoop fs -ls /Found 2 itemsdrwx-wx-wx - root supergroup 0 2019-01-27 10:29 /tmpdrwxr-xr-x - root supergroup ...原创 2019-01-28 11:54:15 · 767 阅读 · 0 评论 -
Hadoop安装配置错误记录(Mac版)
一、常用访问地址Cluster Web访问URL(集群)http://127.0.0.1:8088/cluster/DFS Web访问URLhttp://127.0.0.1:50070/dfshealth.html#tab-overviewNode Web访问URLhttp://127.0.0.1:8042/node/node二、错误记录1、进入Mysql bin数据库并进行初始化...原创 2019-07-26 15:51:20 · 2990 阅读 · 0 评论 -
Hadoop HDFS命令
创建HDFS目录hadoop fs -mkdir[root@localhost bin]# hadoop fs -mkdir /home列出HDFS目录hadoop dfs -ls / 列出HDFS目录[root@localhost bin]# hadoop dfs -ls /DEPRECATED: Use of this script to execute hdfs command ...原创 2019-08-01 19:27:47 · 163 阅读 · 0 评论 -
Linux CentOS7上安装Hadoop2.9(Hadoop/hive/sqoop)
一、Hadoop安装配置Hadoop2.9上传文件并解压在data目录下新建一个名为hadoop的目录(命令:mkdir hadoop),并将下载得到的hadoop-2.9.2.tar.gz上载到该目录下。mkdir /data/hadoopmkdir /data/hadoop/tmpmkdir /data/hadoop/varmkdir /data/hadoop/dfsmkdir ...原创 2019-08-01 19:42:22 · 683 阅读 · 0 评论