![](https://img-blog.csdnimg.cn/20200312143905380.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop
hadoop相关
Tai_Park
ฅ( ̳• ◡ • ̳)ฅ
展开
-
解决Exception in thread "main" java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder
问题出现在Spark Streaming连Kafka的Jar包上传到服务器用spark-submit运行的时候:如果在本地环境能够运行而去服务器报错,大概率原因是缺少两个jar包kafka_2.11-0.8.2.1.jar和metrics-core-2.2.0.jarjar包版本已你自己的为准,可以在IDEA你的项目里搜索(双击Shift开启全局搜索)这两个Jar包,上传到$SPARK...原创 2020-03-07 16:23:56 · 3224 阅读 · 0 评论 -
Hadoop整合压缩知识点整理
简介压缩:原始数据通过压缩手段产生目标数据,要求输入和输出的内容是一样的(大部分),但体积是不一样的。对于单机用户来说,磁盘空间的限制导致了文件压缩的需求;对于Hadoop用户来说,由于DataNode的限制,也要对HDFS上的数据进行压缩。压缩的目的是减少存储在HDFS上的数据所占用的空间(磁盘的角度),提升网络的传输效率(网络的角度)。对于分布式计算框架来说,Shuffle是一个主要的...原创 2020-03-01 14:28:43 · 326 阅读 · 0 评论 -
新手向,从用Spark求平均值到reduceByKey详解
1.前因后果在网上看到了一种用Spark求平均值的算法,自己写了下,修改了一些错误,我这是能直接run起来的版本。我会在本文中对这段代码进行详细的讲解,以加强对reduceByKey用法的印象。耐心看完,保证你对reduceByKey算子理解且不会忘了。首先把这位老哥测试的原始数据给大家:FFF 578GGG 839EEE 566AAA 815AAA 334FFF 268...原创 2020-02-27 21:14:46 · 3174 阅读 · 1 评论 -
Kudu报cannot import authentication data from a different user: old='', new='XXX'解决办法
今天Kudu又抽抽了,在导入数据的时候报错如下:java.lang.IllegalArgumentException: cannot import authentication data from a different user: old='', new='XXX'最后的解决方法是修改Kudu的设置。首先在/etc/init.d关闭Kudu:[hadoop@hadoop000 ...原创 2020-02-26 12:29:02 · 760 阅读 · 0 评论 -
Kudu-master启动:Failed to start Kudu Master Server. Return value: 1
今天屁颠屁颠装了kudu,到启动Kudu-mater的时候报错了:[hadoop@hadoop000 init.d]$ sudo ./kudu-master startFailed to start Kudu Master Server. Return value: 1 [FAILED]这个时候就应该去扒错误日志,Kudu的默认日志地址在/var/log/kudu里,打...原创 2020-02-24 14:49:39 · 2097 阅读 · 0 评论 -
spark-sql报Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://xxx:3306
在运行./spark-shell连hive的时候能够运行,但是运行./spark-sql的时候报错如下:Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=true at java.sql...原创 2020-02-23 10:25:58 · 1631 阅读 · 3 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)
1、复制以下代码/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information *...原创 2019-12-11 16:45:06 · 1300 阅读 · 0 评论