xunming的专栏

自律给我自由

Hadoop之Pig从安装到使用

简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce ...

2017-11-29 11:19:38

阅读数:602

评论数:0

Hadoop之Sqoop导出hdfs数据到Mysql

1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2、安装配置 2.1 安装sqoop 安装包下载地址, http://mirro...

2017-11-09 11:03:20

阅读数:377

评论数:0

Hadoop之CapacityScheduler队列管理的使用

关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity-scheduler.xml,配置完成后发现,在代码或者终端里加入队列名称,均显示找不到,后来看到...

2017-11-07 11:47:18

阅读数:185

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭