- 博客(5)
- 收藏
- 关注
原创 idea连接虚拟机中的Redis时的注意事项
1、禁用Linux的防火墙:1)临时禁用:service iptables stop2)关闭开机自启:chkconfig iptables off2、在 redis.conf 配置文件中1)注释掉 bind 127.0.0.1(61行)2)修改 protected-mode(80行)设置为 no...
2019-07-16 20:47:05 958
原创 hive启动时出现的小BUG问题的解决
搜索了一番发现,出现该bug原因如下:首先在bin目录下的hive中,发现了bug中的提示语。spark的老版本中,在lib里进行了相关JAR包的加载。而spark 2.0.0之后,原有的lib包已不存在,而原有的JAR包已被分散为小JAR包替代,所以会出现找不到这个spark-assembly JAR包。解决:将相应路径修改为/jars/*.jar即可,参考如下截图进入 /opt/m...
2019-07-11 10:51:25 343
原创 JAVA中的方法的重写
直接调用or间接调用:一定有动态绑定机制在 ==> 体现模板方法设计模式子类重写了父类的方法,所以走的是子类的方法情景一:package com.bigdata.java.test;public class TestMethod { public static void main(String[] args) { AA aa = new AA(...
2019-07-04 15:53:14 177
原创 Linux同步时间时出现的问题:the NTP socket is in use, exiting
Linux设置了crontab计划任务用ntpdate cn.pool.ntp.org命令同步操作系统时间,过段时间查看时间仍不准,手动执行ntpdate命令时报错:the NTP socket is in use, exiting。分析:NTP服务被占用导致计划任务未成功执行解决:停止NTP服务,执行ntpdate同步命令,同步成功。报错信息:[root@hadoop101 ~]# n...
2019-07-04 15:48:25 5650 1
原创 spark Yarn模式下 运行wordcount 出现的问题
lzo压缩问题说明:因为之前hadoop集群上配了lzo,spark还没有配置解决:1)找到hadoop配置文件(core-site)将lzo相关的配置注释掉重新运行即可。2)或者在spark中配置lzo。=> spark-env.sh 中添加export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/module/hadoop-2.7....
2019-07-03 19:54:34 374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人