hadoop
haijiege
这个作者很懒,什么都没留下…
展开
-
hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍
一 、core-site.xml<configuration> <!--指定namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</...转载 2018-03-22 18:36:57 · 1088 阅读 · 0 评论 -
HDFS知识点总结
学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,...原创 2018-07-18 18:38:26 · 321 阅读 · 0 评论 -
HDFS文件操作(命令行)
haddop fs -ls / (查询目录) hadoop fs -mkdir /test (在根目录下创建一个目录test) hadoop fs -put ./test.txt /test (将本地的test.txt文件上传到HDFS根目录下的test文件夹中去) hadoop fs -copyFromLocal ./test.txt /test (同...原创 2018-07-19 17:50:06 · 13605 阅读 · 0 评论 -
HADOOP数据复制工具Distcp
DistCp 概述 使用方法 基本使用方法 选项 选项索引 更新和覆盖 附录 Map数目 不同HDFS版本间的拷贝 Map/Reduce和副效应 概述 DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝...原创 2018-07-19 17:56:57 · 308 阅读 · 0 评论 -
Hadoop的各个web界面的地址
1、HDFS界面:http://potter2:50070 查看NameNode状态; 该端口的定义位于core-default.xml中,可以在hdfs-site.xml 中修改; 如果通过该端口看着这个页面,以为着NameNode节点是存活的。 1、HDFS页面:50070 2、YARN的管理界面:8088 3、HistoryServer的管理界面:19888 4、...原创 2018-07-19 18:28:31 · 7218 阅读 · 0 评论 -
hive恢复drop table数据
hive 中使用truncate命令将表截断的话,它是不会进回收站的,是没办法恢复的。这个跟oracle truncate有点类似的。 恢复在hive中通过drop table删除的数据文件就是将hdfs dfs -rm删除掉的文件进行恢复,只需要hdfs dfs -mv将文件从回收站中搬过来就行,我就先使用这个方法,但是效果不佳,执行select count(*) from ta...原创 2018-11-02 17:50:47 · 6647 阅读 · 0 评论 -
HDFS常用shell命令
HDFS 文件操作命令 注,其实常用命令不用网上搜,和linux下的命令很类似,触类旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去记 我把 linux 上的 help 列举下,方便直接看吧,hdfs dfs 与 hadoop fs 效果一样 常用的就是 hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到...原创 2018-11-20 10:32:54 · 1288 阅读 · 0 评论