- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 PowerDesiner 逆向工程 could not Initialize JavaVM! 和NonSQL Error Could not load class oracle.jdbc.Or
PowerDesigner 反向工程生成ER图，在连接数据库时，测试连接出错时，一般是以下两个错误：1、could not Initialize JavaVM!这是由于本地Java环境是64位的原因，需要切换成32位2、NonSQL Error Could not load class oracle.jdbc.Or这是由于找不到因为powerDesigner找不到jdbc的驱动包所导致的。查找网上解决办法都是配置本地环境变量，不知道为啥环境变量更改后，重启EA也没有成功。采用以下办法..
2020-07-24 19:49:23
500
原创 HBase: Connection refused: no further information, Call to localhost/127.0.0.1:16020 failed
由于安全问题，HBase集群不能外网连接，但又有业务需求，自己就在虚拟机里搭建了Hadoop和HBase，在进行API操作连接时，出现以下错误：Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Fri...
2019-11-25 10:04:22
9019
4
转载 Win10 IDEA环境下SparkSQL连接Hive的几个坑(转载)
在之前的文章中介绍了通过spark-shell访问hive中数据的方法，那么在IDEA中应该怎样连接Hive并访问数据呢？网上有很多篇文章介绍，但可能是因为环境不同，访问过程中出现了很多问题，在此记录一下一、初始环境1.最开始，我的pom文件中有以下依赖： <scala.version>2.11.8</scala.version> <spar...
2019-08-06 09:25:44
1215
转载 hadoop参数配置汇总
转载：https://www.cnblogs.com/peizhe123/p/5540845.htmlhadoop参数配置Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-default.xml yarn-default.xmlHadoop参数汇总@(hadoop)[配置]linux参数以下参数最好...
2019-01-19 15:37:14
1390
转载 IDEA方便使用一定要改的8条配置
本文转载自公众号 打杂的ZRJ引言坦白说，我很少写这种操作类型的文章。因为这种文章没啥新意，大家操作步骤肯定是一样的。然而，我答应了我的同事小阳，给她出一篇！毕竟人家打算从Eclipse转IDEA了，于是以示鼓励，写一篇给她！那么是哪八条一定要改的配置呢！我没列快捷键，是因为IDEA原生的快捷键，我用的也挺顺手，所以并不是认为一定要改！ 自动编译开关 忽略大小写开关 ...
2018-11-23 12:34:54
322
原创 Spark2 Failed to send RPC 5346982634 to /ns1:58312: java.nio.channels.ClosedChannelException
将spark任务运行与yarn上出现以下错误：scala> 18/11/21 16:20:11 ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!18/11/21 16:20:11 ERROR client.TransportClient: ...
2018-11-21 17:10:04
5613
原创 Centos7 更换JDK
之前将jdk解压后，然后卸载了安装的jdk，最后修改了/etc/profile,执行source /etc/profile,查看jdk是否安装成功时，发现失败，没有Java这个命令。。。。囧。。。囧翻了以前的文档，执行以下操作：sudo update-alternatives --install /usr/bin/java java /home/hadoop/BigDate/jdk1.8....
2018-11-19 11:43:21
370
原创 正则判断字符串是否为数值（正数、负数、小数）
在用MapReduce进行处理业务时，发现HDFS中的数据有的列为汉字、有的列为字符串、有的列为正数、有的为负数、有的为小数，根据业务要求只有数字参与运算，因此首先清洗数据，用正则提取所有数值：public boolean isNumber(String str){ String reg = "^[-\\+]?([0-9]+\\.?)?[0-9]+$"; ret...
2018-11-05 17:07:49
10565
转载 64位Linux下安装mysql-5.7.13-linux-glibc2.5-x86_64
原文地址：http://www.cnblogs.com/gaojupeng/p/5727069.html 从官网下载 mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz经测试， 本文还适用于如下版本： mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz mysql-5.7.11-linux-glibc2
2017-07-24 14:36:10
557
原创 Linux配置完JDK后出现bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
自Linux中中配置完JDK后，用java -version查看，发现出现bash: /usr/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录，经上网查找发现缺少东西，输入sudo yum install glibc.i686 这个命令即可解决此问题。
2017-07-24 14:19:49
11272
2
原创 关于MapReduce,Map能完全执行，Reduce执行到一半卡住不执行
卡住了几个小时，死活停滞不前，发现后根据提示开始排错，进入50030，进入作业发现这说明作业在map之完后的shuffle阶段中，reduce无法从map处拷贝数据，是因为客户端与数据节点通讯失败造成的。客户端程序应该能够和所有的节点通讯才能保证数据的传输正常，然后开始各种检查：所有节点hosts中写的完全相通，不是节点名称不同或者节点没有完全加上造成的，排除；找到slaves发现写的也完
2015-10-10 15:28:27
3848
原创 hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
早晨写了个关于专利数目统计的MapReduce程序，运行后发现：错误上说Map函数的Key类型与设置的不一样，仔细一查发现原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出，如果Map和Reduce设置的输出类型不相同就是报错，这时候就需要用到专门设置Map的job.setMapOutput
2015-07-09 09:25:20
722
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人