博客专栏  >  云计算/大数据   >  Hadoop初步实战与错误解答

Hadoop初步实战与错误解答

从2017年7月加入hadoop大阵营开始,不断的自学与项实践,发现其中的奥妙与坎坷,与君共分享,仅供参考。

关注
0 已关注
7篇博文
  • Hadoop常用命令集合

    Hdfs命令 Hadoop命令 Hbase命令 其他命令 Hdfs命令 hdfs dfs -du -h /data/1027 //查看1027文件夹下的子文件夹的具体大小 hdfs...

    2017-10-27 09:58
    395
  • Hadoop之CapacityScheduler队列管理的使用

    关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity...

    2017-11-07 11:47
    150
  • Hadoop之Sqoop导出Hive表到Mysql

    1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2...

    2017-11-09 11:03
    317
  • Hadoop之Pig从安装到使用

    简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析...

    2017-11-29 11:19
    211
  • Hadoop错误之 /bin/bash: /bin/java: No such file or directory

    莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: F...

    2018-01-05 16:35
    242
  • Hadoop错误之namenode宕机的数据恢复

    情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode...

    2018-01-09 17:49
    238
  • Hadoop大数据环境搭建及初步实战(Mac)

    1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoo...

    2017-08-11 14:45
    1054

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部