xunming的专栏

自律给我自由

Hadoop之avro文件的解析与生成

一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/ avro是一个数据序列化系统,它提供 丰富的数据结构 快速可压缩的二进制数据形式 存储持久...

2018-03-27 19:28:51

阅读数:119

评论数:0

Hadoop学习笔记之Partitioner

partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyPartitioner.class); 自定义partitioner类,MyPartitioner,分区...

2018-02-27 17:09:55

阅读数:39

评论数:0

Hadoop错误之namenode宕机的数据恢复

情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可; 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就...

2018-01-09 17:49:51

阅读数:416

评论数:0

Hadoop错误之 /bin/bash: /bin/java: No such file or directory

莫名的错误日志如下,该错误的产生原因大概可能由于重装hadoop环境有关 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/liuxunming/MyCon...

2018-01-05 16:35:46

阅读数:588

评论数:0

Hadoop之Pig从安装到使用

简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce ...

2017-11-29 11:19:38

阅读数:602

评论数:0

Hadoop之Sqoop导出hdfs数据到Mysql

1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2、安装配置 2.1 安装sqoop 安装包下载地址, http://mirro...

2017-11-09 11:03:20

阅读数:377

评论数:0

Hadoop之CapacityScheduler队列管理的使用

关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity-scheduler.xml,配置完成后发现,在代码或者终端里加入队列名称,均显示找不到,后来看到...

2017-11-07 11:47:18

阅读数:185

评论数:0

Hadoop常用命令集合

Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 hdfs dfs -cat /urlba/url/url.txt|head -5 前5行 hdf...

2017-10-27 09:58:23

阅读数:680

评论数:0

Hadoop大数据环境搭建及初步实战(Mac)

1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoop有三种安装模式: 单机模式 Hadoop的默认模式,当首次解压Hadoop的源码包时,H...

2017-08-11 14:45:12

阅读数:1515

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭