博客专栏  >  云计算/大数据   >  Hadoop学习笔记与错误解答

Hadoop学习笔记与错误解答

从2017年7月加入hadoop大阵营开始,不断的自学与项实践,发现其中的奥妙与坎坷,与君共分享,仅供参考。

关注
0 已关注
10篇博文
  • Hadoop学习笔记之lzo文件格式

    一、下载、安装、编译lzo 二、修改Hadoop配置 三、安装、编译hadoop-lzo-master 四、检测是否配置成功 1、hive方法 2、job日志方法 五、参考链接 LZO(...

    2018-06-28 17:18
    160
  • Hadoop学习笔记之Partitioner分区

    partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyParti...

    2018-02-27 17:09
    85
  • Hadoop学习笔记之avro文件格式

    一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/...

    2018-03-27 19:28
    474
  • Hadoop学习笔记之常用命令

    Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 h...

    2017-10-27 09:58
    929
  • Hadoop学习笔记之CapacityScheduler队列管理

    关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity...

    2017-11-07 11:47
    264
  • Hadoop生态圈之Sqoop

    1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ ...

    2017-11-09 11:03
    542
  • Hadoop生态圈之Pig

    简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析...

    2017-11-29 11:19
    1899
  • Hadoop错误之 /bin/bash: /bin/java: No such file or directory

    莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: F...

    2018-01-05 16:35
    1354
  • Hadoop错误之namenode宕机的数据恢复

    情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode...

    2018-01-09 17:49
    1407
  • Hadoop生态圈之分布式环境搭建

    1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoo...

    2017-08-11 14:45
    2033

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部