关闭
当前搜索:

Hadoop错误之namenode宕机的数据恢复

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可; 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了一个可怕的命令 rm -rf data rm -rf name #存储namenode永久性元...
阅读(234) 评论(0)

Hadoop错误之 /bin/bash: /bin/java: No such file or directory

莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/liuxunming/MyConfigure/hadoop-2.7.4/share/hadoop/common/lib/slf4j-l...
阅读(229) 评论(0)

Hadoop之Pig从安装到使用

简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据...
阅读(207) 评论(0)

Hadoop之Sqoop导出Hive表到Mysql

1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2、安装配置 2.1 安装sqoop 安装包下载地址, http://mirrors.cnnic.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-...
阅读(313) 评论(0)

Hadoop之CapacityScheduler队列管理的使用

关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity-scheduler.xml,配置完成后发现,在代码或者终端里加入队列名称,均显示找不到,后来看到该配置文件同级目录下有一个mapred-queues.xml文件,于是再抱有一丝希望的改了文件中的队列名...
阅读(148) 评论(0)

Hadoop常用命令集合

Hdfs命令 Hadoop命令 Hbase命令 其他命令 Hdfs命令 hdfs dfs -du -h /data/1027 //查看1027文件夹下的子文件夹的具体大小 hdfs dfs -ls hdfs dfs -cat /xm/102602/result/part-r-00000 | head //查看前十行,不加|head查看文件全部内容 hdfs dfs -tail...
阅读(395) 评论(0)

Hadoop大数据环境搭建及初步实战(Mac)

1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoop有三种安装模式: 单机模式 Hadoop的默认模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配...
阅读(1047) 评论(0)
    个人资料
    • 访问:176628次
    • 积分:2793
    • 等级:
    • 排名:第15150名
    • 原创:58篇
    • 转载:5篇
    • 译文:0篇
    • 评论:52条
    联系我吧
    我的App
    博客专栏
    文章分类