博客专栏  >  云计算/大数据   >  Hadoop初步实战与错误解答

Hadoop初步实战与错误解答

从2017年7月加入hadoop大阵营开始,不断的自学与项实践,发现其中的奥妙与坎坷,与君共分享,仅供参考。

关注
0 已关注
9篇博文
  • Hadoop学习笔记之Partitioner

    partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyParti...

    2018-02-27 17:09
    39
  • Hadoop之avro文件的解析与生成

    一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/...

    2018-03-27 19:28
    119
  • Hadoop常用命令集合

    Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 h...

    2017-10-27 09:58
    671
  • Hadoop之CapacityScheduler队列管理的使用

    关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity...

    2017-11-07 11:47
    185
  • Hadoop之Sqoop导出hdfs数据到Mysql

    1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ ...

    2017-11-09 11:03
    375
  • Hadoop之Pig从安装到使用

    简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析...

    2017-11-29 11:19
    588
  • Hadoop错误之 /bin/bash: /bin/java: No such file or directory

    莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: F...

    2018-01-05 16:35
    583
  • Hadoop错误之namenode宕机的数据恢复

    情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode...

    2018-01-09 17:49
    408
  • Hadoop大数据环境搭建及初步实战(Mac)

    1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoo...

    2017-08-11 14:45
    1507

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部