HDFS
sunrising_hill
这个作者很懒,什么都没留下…
展开
-
Hadoop HDFS升级HA,Hive旧的库表元数据需同步更新
一、配置HDFS HA简介:任意时刻只有一个NameNode处于Active状态,为集群操作提供服务。其他NameNode全部处于Standby状态,他们维护足够的状态信息,以便在Active Failover时,快速提供服务切换。为了快速切换NameNode,Standby NameNode需要实时更新DataNode的Block信息,因此,DataNode上会配置所有的Nam...原创 2020-04-02 01:44:38 · 1073 阅读 · 1 评论 -
hadoop修改hadoop.tmp.dir
hadoop.tmp.dir的目录默认指向的是:/tmp/hadoop-${USERNAME}这样会有个问题,系统重启时会自动删除/tmp目录下的文件,导致你之前对hadoop做的很多操作都被删除了,需要重新再来,比如你想hdfs导入的文件会都被删除。这是你需要修改 ${hadoop_home}/etc/hadoop/core-site.xml文件,添加一个名字为"hadoop.tmp原创 2016-01-16 09:56:39 · 8081 阅读 · 0 评论 -
Hadoop HDFS安装
首先需要获取Hadoop程序,可以去到Apache Hadoop官网进行下载:http://hadoop.apache.org/releases.html。1、配置SSH无密码登录:[user@localhost ~]$ cd[user@localhost ~]$ ssh-keygen -t rsa// 省略部分内容,中间一直按回车键继续就可以了[user@localh原创 2016-01-02 00:16:38 · 392 阅读 · 0 评论 -
Hadoop通过路径和和链接访问HDFS
如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs,也想通过"hdfs://localhost:9000/user/hadoop的方式访问hdfs,此时做需要配置core-site.xml: fs.defaultFS hdfs://master.domain.com:9000 上面的配置只能让你使用"hadoop fs -ls原创 2016-12-10 16:46:50 · 28138 阅读 · 1 评论