![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
可能遇到的问题及解决方案
一过人_
初出茅庐
展开
-
配置hive on spark后启动报错
因为hive底层用的执行引擎是MapReduce,所以导致了运行起来非常慢,所以我们要更换执行引擎,就有了hive on spark,基于hive的基础上将执行引擎换成spark版本:hive 3.1.2spark3.0.0需要配置的信息在spark的配置文件spark-defaults.conf中spark.master yarnspark.eventLog.enabled truespark.e原创 2020-08-14 20:48:16 · 1781 阅读 · 2 评论 -
最新spark3.0.0版本对接kafka数据源出现的问题
今天在学习spark-streaming中对接kafka数据源遇到一个问题,我用的都是最新的spark3.0.0版本的,版本如下:接下来说说我遇到的问题:用maven准备导入spark-streaming-kafka的依赖时,由于我用都是最新的版本,并且maven仓库用的是阿里云的镜像,导致一直无法下载下来,所以只好在maven仓库直接下载了jar包导入项目,可以正常调用方法jar包:spark-streaming-kafka-0-10_2.12-3.0.0.jar注意:还需要导入kafka的原创 2020-07-27 18:34:28 · 2466 阅读 · 2 评论 -
启动hdfs时报权限问题
配置好各种文件信息以及权限之后(前提是已经配置好其他该配置的信息之后,具体的问题需要查看日志信息来定位问题)执行命令start-dfs.sh命令报权限问题,如图:可能是ssh免密登录协议时的配置有问题,即分发公钥时没有分发给需要启动dfs的虚拟机通过查看命令vim ~/.ssh/authorized_keys和vim ~/.ssh/id_rsa.pub此时公钥没有分发给配置需要启动dfs(即配置nameNode)的虚拟机,需要再次分发公钥给该虚拟机ssh-copy-id hadoop102原创 2020-07-22 18:26:06 · 706 阅读 · 0 评论 -
关于hive表row format格式的问题
创建表时指定的各种参数中关于行的格式create table tablename( 列名 类型, ...)row format delimited fields terminated by '\t'这个只与存于hdfs上表中的文件的数据格式有关,如果是通过MapReduce计算插入的数据不需要判定数据格式insert into table tablename select * from tablename1;但是这样必须保证这两个表的列的个数和类型一致,不然会出错。注意:如果我们创建原创 2020-07-22 18:17:09 · 6343 阅读 · 0 评论 -
scala中运行报××类中main方法找不到问题
今天在学习scala中遇到一个找不到main的错误,可是其他的类都能正常运行报错代码如下:在网上搜索很多方法都不能解决,最后点进去idea的run configuration看到了这样的结果这里很明显的显示红色的报错,并且名字与我们起的类名也不一样,不禁有一个疑问scala不是支持这样定义类名吗?为什么还会在执行调用的时候不能识别$字符导致报错找不到该类的main方法,类都找不到了,main方法肯定找不到了之后为了验证scala能不能使用$字符开头的类名,重新创建一个object,并运行能原创 2020-07-22 18:09:57 · 1715 阅读 · 0 评论 -
scala学习中关于方法内部声明并调用方法执行顺序的问题
学习scala时遇到的一个问题object FunctionDemo1 { def main(args: Array[String]): Unit = { f6(p2="v2") } def f6 ( p1 : String = "v1", p2 : String ) { sayOk("lisi") println(p1 + p2) def sayOk(name : String=原创 2020-07-21 20:47:32 · 665 阅读 · 0 评论 -
查看SecondaryNameNode网页问题
SecondaryNameNode所在节点:http://ip地址:9868/status.html无法查看SecondaryNameNode所在节点网页解决方法解决办法:路径:$HADOOP_HOME/share/hadoop/hdfs/webapps/static查看dfs-dust.js的第61行 'date_tostring' : function (v) { return moment(Number(v)).format('ddd MMM DD HH:mm:ss ZZ YYY原创 2020-07-13 09:59:32 · 1985 阅读 · 0 评论 -
hadoop客户端运行hdfs的方法出现错误
再Windows上用idea工具编写代码实现客户端操作hdfs命令,(有的电脑)可能会有部分命令不能成功并报错报错原因:fileNotFoundException:找不打hadoop_home和hdfs-user-dir目录(已经配置好环境变量的前提)此时检查其他都没有问题,能通过远程连接虚拟机进行hdfs的同样的shell命令并成功可以将配置的环境变量的hadoop的bin目录下的hadoop.dll和wiutils.exe文件复制到C:/windows/system32下就能正常操作hdfs的s原创 2020-07-13 09:53:46 · 857 阅读 · 0 评论 -
hive自定义创建临时函数和永久函数以及遇到的问题
一 创建临时函数1、先要编写代码继承hive提供的类,并实现抽象方法后打包备用:org.apache.hadoop.hive.ql.udf.generic.GenericUDF org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;2、在hive命令行窗口创建函数①添加jar依赖add jar linux_jar_path;②创建临时函数create temporary function [dbname.]function_name AS原创 2020-07-07 00:20:57 · 4875 阅读 · 0 评论 -
关于hive中explode函数可能出现的问题之并发修改异常
关于hive中explode函数可能出现的问题之并发修改异常今天运行hive的sql时,运行一段时间后报错,如下Hive Runtime Error while processing row (tag=0) {“key”:{“reducesinkkey0”:13199833},“value”:{"_col0":"-_CSo1gOd48","_col1":[“People”,“Blogs”]}}详细查看报错日志,可以得出是并发修改异常,然后思考是什么原因导致的错并发修改异常通常是对集合进行遍历操原创 2020-07-02 15:24:58 · 1215 阅读 · 0 评论