![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce hadoop
文章平均质量分 57
Fei-joe
这个作者很懒,什么都没留下…
展开
-
mapreduce 输出乱码
Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8,如果文件编码格式是其它类型(如GBK),则会出现乱码。此时只需在mapper或reducer程序中读取Text时,使用transformTextToUTF8(text, "GBK");进行一下转码,以确保都是以UTF-8的编码方式在运行。 String line=new String...原创 2017-04-07 14:58:43 · 4811 阅读 · 3 评论 -
hive创建表指定自定义多个字符
hive创建表指定分隔符,不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下package gaode_84;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;...原创 2018-11-22 18:07:08 · 1108 阅读 · 0 评论 -
如何使用Maxwell和flume,kafka 把MySQL数据实时同步到HDFs?
Hadoop实战:使用Maxwell把MySQL数据实时同步到HDFsMaxwell介绍Maxwell是一个守护程序,一个应用程序,能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中,支持表和库过滤。→ Reference:http://maxwells-daemon.io→ Download: https://github.com/zendesk/maxwell...原创 2018-05-07 14:34:53 · 2127 阅读 · 1 评论 -
nodemanager无法启动问题
在hadoop-2.7.4中,在主节点执行 ./start-yarn.sh后发现 部分机器nodemanager没有启动成功查看日志发现:INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in stateSTARTED; cause: org.apache.hadoop.yarn.e原创 2017-11-23 12:03:24 · 16744 阅读 · 2 评论 -
安装编译hue
hue安装需要从github上面下载源码,进行编译安装。github上面给出的安装教程很简单然而实际上在安装的过程中遇到了无数个坑,下面开始真正意义上的从零开始安装hue.安装环境:centOS6.5 64位然后没有Orz(1)jdk的安装(已安装略过)在官网上http://www.oracle.com/technetwork/java/javas转载 2017-09-08 15:03:19 · 602 阅读 · 0 评论 -
Oozie4.3 安装部署
from:乔飞更改為:https://blog.csdn.net/lucylove3943/article/details/80673962编译:使用的环境是:Hadoop2.5.2、Spark1.4.0、Hive0.13.1、Sqoop1.4.4编译Oozie的命令:./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddi...转载 2017-08-21 14:18:21 · 466 阅读 · 0 评论 -
crontab定时hadoop任务没有执行
最近公司要从sqlserver数据库数据大约100G导入到hdfs中,由于数据库在同事的服务器中,为了不影响同事工作,计划晚上自动执行。服务器的定时脚本的时候发现了定时脚本并没有被执行,但是定时比如创建文件夹却可以执行,并且执行了下发现脚本的逻辑是没有问题的,而且直接执行是没有问题的,又去/etc/crontab文件里去看了下 原来是crontab中的环境变量不一样,需要在定时脚本前面加上环境原创 2017-06-26 10:10:48 · 2789 阅读 · 0 评论 -
How to solve:util.NativeCodeLoader: Unable to load native-hadoop library for your platform ??
How to solve util.NativeCodeLoader: Unable to load native-hadoop library for your platform ??this problem is so easy .Now Add below lines to hadoop-env.sh, it will fixexport HADOOP_HOM原创 2017-05-24 11:22:33 · 276 阅读 · 0 评论 -
mapreduce 自定义key/value 输出分隔符 (mapreduce输出结果key和value有空格怎么办?)
mapreduce 默认情况下 key/value 分隔符为:“\t”测试的输出如下:我们可以在代码中进行设置来自定义 key/value 输出分隔符:在代码中添加如下一行代码:conf.set("mapred.textoutputformat.separator", ";"); //此处以”;“作为分割符, 修改后结果:原创 2017-04-06 11:26:07 · 2121 阅读 · 1 评论 -
hadoop hdfs数据扩容
1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等> hadoop dfsadmin -report笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据) > hdfs d...转载 2019-02-24 13:02:27 · 898 阅读 · 0 评论