- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【无标题】
java.lang.IllegalArgumentException: Comparison method violates its general contract!偷懒 直接复制粘贴代码到新的项目中，老项目没问题 ，新的起来确报这个错误，搜了一下资料 说是编译问题，赶紧查看自己的编译，果真有一个jdk1.5的编译，更改过来重新打包，更改路径如下另外注意还有一个地方 ，file-setting ->...
2022-01-04 19:49:42
233
原创 scala文件打包问题
maven 工程中同时包含scala和java源文件的时候，尤其是当java文件中调用了scala中定义的class对象的时候，有时会报 scala文件中的class对象找不到。此时需要在pom文件中加入scala打包支持net.alchim31.mavenscala-maven-plugin3.2.0compile-scalaprocess-resourcesadd-sourcecompilescala-compile-firstcompileadd-sourcet
2021-07-29 13:48:52
406
原创 关于spark 报 找不到方法错误的一些解答
上异常（错误）java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class最近在跑一个比较老的项目的时候，怎么老呢 spark 还是用的1.6的版本。按部就班导入项目到idea 添加scala支持，奇怪的事情发生了，竟然报错也就是上边的错误 ，最后发现是我导入项目的时候添加scala library支持的时候加的2.11 ，虽然我的图计算的maven坐标是是<dependency>
2021-05-26 22:10:45
307
原创 关于hadoop-hive 版本匹配问题
硬菜博客关于不同Hadoop-hive的匹配问题https://blog.51cto.com/caiguangguang/1564601
2021-05-12 15:12:55
618
原创 sqoop mysql decimal hive到底是double 还是string
题目是为了便于搜索，介意者请忽略。sqoop 从mysql 导入数据到hive 中 ，如果利用sqoop自动建表，那么mysql 中的decimal到底是对应hive中的double 类型还是string类型。首先，sqoop 能自动建表并且导入hive 的有两种数据格式 一种是 text file 一种是parquet ，不能自动建表的我们今天在这里不做讨论。如果是以text file导入hive 的话 ，那么decimal 就对应hive中的double对应的源码在此/** * Licens
2021-04-21 18:01:42
1159
原创 关于sqoop 的一些问题
背景说明：最近做一个数据迁移的项目，遇到一个需求就是： 把关系型数据库的数据迁移到hdfs 上并且用hive表管理。本来是一个比较简单的需求，直接sqoop脚本 或者用阿里的datax。 但是要命的是，该需求要求可视化操作，也就是说，不能用跑脚本的形式。这个难不倒我，不就是调用api嘛，我再给你加一个web 就可以搞定，谁知道是噩梦的开始搞了一个星期终于搞定。先总结如下：首先我们知道 sqoop 将数据导入hive 是分两步走1 先自己生成一个map 之类的类，自己编译 ，将数据导入hdfs ，此时如
2021-04-04 13:44:16
274
原创 代码连接sqoop 导入hdfs 遇到的一些问题
最近有要用到sqoop，但是不能以脚本的形式。研究了一下，中途有遇到一些坑，所幸最后成功，在这里记录一下，自己做个笔记，也希望能帮助到别人。首先说下我的集群环境以及mysql版本集群： hadoop 版本3.0MySQL 5.7sqoop 版本 maven坐标中显示的版本是1.4.6这里需要注意的是 maven中的jar是下载不下来的，我个人自作聪明的从maven 仓库手动下载，然后 自个 建立本地坐标（事实上这个是一个坑，我们稍后说明）maven 坐标为org.apache.sqoop
2021-03-26 16:31:14
509
原创 一些关于git仓库使用的笔记
本文摘自gitee，纯记录当我们在git上新建一个仓库的时候，此时本地还没有创建项目的时候，按照一下操作就可以将项目加入git管理：1 现到git上创建一个仓库（仓库名与将要开发的项目名称一致）projectname2 cd projectname3 git init4 touch README.md5 git add README.md6 git commit -m “first commit”7 git remote add origin 远程仓库地址8 git push -u ori
2021-02-03 14:13:21
103
1
原创 Linux 下安装 mongo并且连接
由于我的centos是6 的yum源已经不全，不能直接yum安装。于是选择了压缩包安装，现在记录一下压缩包安装步骤1 上传文件到服务器（你的虚拟机）的指定好的目录2 tar -xvf 刚才上传的文件夹 -C 指定存在解压后文件存放路径3 cd 进入mongo文件 ，vim mongo.conf添加一下配置信息dbpath=/mongo/datalogpath=/mongo/log/mongodb.logport=27017fork=truejournal=falsestorageEn
2021-01-29 23:44:10
438
原创 关于centos6yum 安装文件，报网址404错误的一些解决方法
最近在搞一个小项目，由于比较懒，就用了很久以前装的centos6.9 ，基础软件都能用，安装ngnix的时候，由于linux的ngnix 没有windows的友好（需要各种安装，各种配置），在安装gcc的时候，发现竟然报http://mirrors.aliyun.com/centos/6/os/x86_64/Packages/gcc-c%2B%2B-4.4.7-23.el6.x86_64.rpm: [Errno 14] PYCURL ERROR 22 - “The requested URL retur
2021-01-23 23:15:19
812
原创 关于es6启动报错的几点记录
标题本文是在es6 centos环境下进行的操作启动时候报：[2020-01-07T13:13:55,343][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_S
2021-01-23 11:18:57
247
原创 postgresql 批量插入的一种报错解决方案
标题上来先展示异常信息## 标题java.sql.BatchUpdateException: 批次处理 0 Insert INTO bj_lianjia (id,url,timeinfo,region,totalprice,housetype,housearea,unitprice,direction,decoration,elevator,houseinfo,attention,visited,utime) VALUES (‘2587’,‘小樊’,‘2018-05-06 +08:00:00’,‘富力城B
2021-01-18 16:59:03
2390
2
原创 postgresql允许远程访问
安装好postgresql后，远程想连接上怎么搞？此时只需要打开刚才安装好的位置，找到data目录下pg_hba.conf ，比如我的安装目录在d盘 那么我就打开 D:\Program Files\PostgreSQL\9.6\data\pg_hba.conf修改如果此时还是访问不了，可以打开postgresql.conf 查看是不是监听所有地址，* 表示监听所有，localhost 表示监听本地，此时只需要将local host修改成* 即可...
2021-01-13 12:09:43
246
原创 js 下载文件
最近做一个数据交换工具，经理要求能从远端拉文件到本地，考虑了一会决定用spring的下载功能，不再自己写文件推送功能。但是遇到一个问题，就是后台的文件可能是多个线程同时 下载，比较操蛋的是，js并不支持多个线程一起玩耍。自己懒就直接从网上搜解决办法，现 将搜到的解决办法（能用的）列举一下 ，供大家参考标题单个文件下载 1 window.open('file/down?nodeId=' + obj.executionInfo) 此为带参数的，也就是直接将 您的请求url以及参数，按照上边的操作，就
2021-01-12 15:23:21
116
原创 centos 7 上传下载文件
centos 上传下载文件平时主机向主机传文件一般有下边几种 方式：1 共享文件2 filezilla 软件传输3 rz我个人最近一段时间比较喜欢rz上传下载文件要使用rz 需要安装1 yum install lrzsz2 上传文件 rz – 选择需要上传的文件 或者 直接拖动需要上传的文件到xshell 或者其他连接服务器的连接软件.3 下载服务器文件 sz + 需要下载的文件...
2020-08-30 18:14:07
292
原创 kylin 构建cube报错
当构建到第三步分发时候 如出现连接异常 ip:端口 到 0.0.0.0:10020 此时查看是否启动了JobHistoryServer 正常是应该启动的 。进入hadoop的sbin下启动 历史任务服务器，然后 resume 立方体。...
2020-02-17 16:32:01
297
原创 关于kylin的启动报不能解析域名错误积累
先粘打印的日志（一部分日志未粘贴过来，望见谅）异常日志如下java.net.UnknownHostException: hadoop102:2181: 域名解析暂时失败2019-02-24 01:25:09,854 INFO [main] zookeeper.ZooKeeper:100 : Client environment:java.library.path=/opt/module/h...
2020-02-17 11:44:33
1552
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人