![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
罗密欧V1
初次见面,多多包涵
展开
-
【无标题】
java.lang.IllegalArgumentException: Comparison method violates its general contract!偷懒 直接复制粘贴代码到新的项目中,老项目没问题 ,新的起来确报这个错误,搜了一下资料 说是编译问题,赶紧查看自己的编译,果真有一个jdk1.5的编译,更改过来重新打包,更改路径如下另外注意还有一个地方 ,file-setting ->...原创 2022-01-04 19:49:42 · 242 阅读 · 0 评论 -
scala文件打包问题
maven 工程中同时包含scala和java源文件的时候,尤其是当java文件中调用了scala中定义的class对象的时候,有时会报 scala文件中的class对象找不到。此时需要在pom文件中加入scala打包支持net.alchim31.mavenscala-maven-plugin3.2.0compile-scalaprocess-resourcesadd-sourcecompilescala-compile-firstcompileadd-sourcet原创 2021-07-29 13:48:52 · 413 阅读 · 0 评论 -
关于spark 报 找不到方法错误的一些解答
上异常(错误)java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class最近在跑一个比较老的项目的时候,怎么老呢 spark 还是用的1.6的版本。按部就班导入项目到idea 添加scala支持,奇怪的事情发生了,竟然报错也就是上边的错误 ,最后发现是我导入项目的时候添加scala library支持的时候加的2.11 ,虽然我的图计算的maven坐标是是<dependency>原创 2021-05-26 22:10:45 · 317 阅读 · 0 评论 -
关于hadoop-hive 版本匹配问题
硬菜博客关于不同Hadoop-hive的匹配问题https://blog.51cto.com/caiguangguang/1564601原创 2021-05-12 15:12:55 · 652 阅读 · 0 评论 -
sqoop mysql decimal hive到底是double 还是string
题目是为了便于搜索,介意者请忽略。sqoop 从mysql 导入数据到hive 中 ,如果利用sqoop自动建表,那么mysql 中的decimal到底是对应hive中的double 类型还是string类型。首先,sqoop 能自动建表并且导入hive 的有两种数据格式 一种是 text file 一种是parquet ,不能自动建表的我们今天在这里不做讨论。如果是以text file导入hive 的话 ,那么decimal 就对应hive中的double对应的源码在此/** * Licens原创 2021-04-21 18:01:42 · 1186 阅读 · 0 评论 -
在idea下跑程序 获取classpath的问题
idea 中同一个文件夹 下 运行不同的类,获取的classpath竟然不一样的问题原创 2021-03-31 16:01:43 · 1156 阅读 · 0 评论 -
代码连接sqoop 导入hdfs 遇到的一些问题
最近有要用到sqoop,但是不能以脚本的形式。研究了一下,中途有遇到一些坑,所幸最后成功,在这里记录一下,自己做个笔记,也希望能帮助到别人。首先说下我的集群环境以及mysql版本集群: hadoop 版本3.0MySQL 5.7sqoop 版本 maven坐标中显示的版本是1.4.6这里需要注意的是 maven中的jar是下载不下来的,我个人自作聪明的从maven 仓库手动下载,然后 自个 建立本地坐标(事实上这个是一个坑,我们稍后说明)maven 坐标为org.apache.sqoop原创 2021-03-26 16:31:14 · 544 阅读 · 0 评论 -
Linux 下安装 mongo并且连接
由于我的centos是6 的yum源已经不全,不能直接yum安装。于是选择了压缩包安装,现在记录一下压缩包安装步骤1 上传文件到服务器(你的虚拟机)的指定好的目录2 tar -xvf 刚才上传的文件夹 -C 指定存在解压后文件存放路径3 cd 进入mongo文件 ,vim mongo.conf添加一下配置信息dbpath=/mongo/datalogpath=/mongo/log/mongodb.logport=27017fork=truejournal=falsestorageEn原创 2021-01-29 23:44:10 · 451 阅读 · 0 评论 -
关于es6启动报错的几点记录
标题本文是在es6 centos环境下进行的操作启动时候报:[2020-01-07T13:13:55,343][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_S原创 2021-01-23 11:18:57 · 256 阅读 · 0 评论 -
postgresql 批量插入的一种报错解决方案
标题上来先展示异常信息## 标题java.sql.BatchUpdateException: 批次处理 0 Insert INTO bj_lianjia (id,url,timeinfo,region,totalprice,housetype,housearea,unitprice,direction,decoration,elevator,houseinfo,attention,visited,utime) VALUES (‘2587’,‘小樊’,‘2018-05-06 +08:00:00’,‘富力城B原创 2021-01-18 16:59:03 · 2551 阅读 · 2 评论 -
postgresql允许远程访问
安装好postgresql后,远程想连接上怎么搞?此时只需要打开刚才安装好的位置,找到data目录下pg_hba.conf ,比如我的安装目录在d盘 那么我就打开 D:\Program Files\PostgreSQL\9.6\data\pg_hba.conf修改如果此时还是访问不了,可以打开postgresql.conf 查看是不是监听所有地址,* 表示监听所有,localhost 表示监听本地,此时只需要将local host修改成* 即可...原创 2021-01-13 12:09:43 · 251 阅读 · 0 评论 -
centos 7 上传下载文件
centos 上传下载文件平时主机向主机传文件一般有下边几种 方式:1 共享文件2 filezilla 软件传输3 rz我个人最近一段时间比较喜欢rz上传下载文件要使用rz 需要安装1 yum install lrzsz2 上传文件 rz – 选择需要上传的文件 或者 直接拖动需要上传的文件到xshell 或者其他连接服务器的连接软件.3 下载服务器文件 sz + 需要下载的文件...原创 2020-08-30 18:14:07 · 302 阅读 · 0 评论 -
kylin 构建cube报错
当构建到第三步分发时候 如出现连接异常 ip:端口 到 0.0.0.0:10020 此时查看是否启动了JobHistoryServer 正常是应该启动的 。进入hadoop的sbin下启动 历史任务服务器,然后 resume 立方体。...原创 2020-02-17 16:32:01 · 310 阅读 · 0 评论 -
关于kylin的启动报不能解析域名错误积累
先粘打印的日志(一部分日志未粘贴过来,望见谅)异常日志如下java.net.UnknownHostException: hadoop102:2181: 域名解析暂时失败2019-02-24 01:25:09,854 INFO [main] zookeeper.ZooKeeper:100 : Client environment:java.library.path=/opt/module/h...原创 2020-02-17 11:44:33 · 1591 阅读 · 0 评论