- 博客(11)
- 收藏
- 关注
RSS订阅原创 Spingboot连Mysql出错：Cause:java.sql.SQLException: Access denied for user ‘root‘@‘hadoop100‘ (using pass
mysql Acess denied的解决方案探索
2022-07-29 19:26:29
861
原创 启动hadoop组件时报错：(Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password))
上网查过很多解决方案，但是试过还是不太适合，最后还是往公钥的方面想得出得答案，下面为大家提供点思路（有可能自己的踩的坑很笨，不过没所谓，谁不是这么过来的呢嘻嘻）
2022-07-06 15:27:18
1011
原创 Flink Aggregate算子求和、计数案例
开始前唠嗑 小白学习又碰到问题了。用flink做一个实时处理项目，需要根据key把商品销售量和销售额求出来。之前学的aggregate只会用来计数，改一改可以求和，但是又不能够2个同时进行，也不可能分开成2个aggregate算子，这就涉及到知识盲区了。上网查了很久，还是没有什么头绪尝试了很多方法，机缘巧合下发现自定义的accumulator居然有奇用！Aggregate算子创建自定义accumulator同时实现求和、计数功能 网上查到的accumulator案...
2021-10-19 15:20:01
1638
4
原创 Flink 编写代码保存keyvaluestate时出现java.lang.NullPointerException空指针异常
问题：解决方案：检查是哪个地方出现空指针异常，看看是不是没有初始化值（大概率）。 这里是count值报空，keyvaluestate调用value（）函数，但是返回NULL值，查看下源码，确实是因为没在ValueStateDescriptor中设置当前状态的默认值，所以value（）会返回空。 查看ValueStateDescriptor源码，发现以下这一个方法，可以设置默认值，但是@Deprecated，已经给弃用，建议我们在使...
2021-10-15 21:09:22
864
原创 flink调用toRetractStream方法发生各种java.lang.ClassCastException问题解决方法
背景： 本菜鸟在造了一个extends了RichSinkFunction<ItemCountSum2>的mysqlsink class，想把Table中数据转换成指定对象的流，再sink入mysql当中，又遇到一个当时难整的bug。出现问题： 经排除，问题出现在这段代码块中解决思路： 检查代码中是否有转换问题出错，然而并没有，继续尝试缩短错误范围， 发现并不是flatMap算子的问题，而是toRetra...
2021-10-13 14:58:30
831
转载 本地Spark集群通过scala语言连接虚拟机中Hive数据库
亲测有效，mark一下（十四）Win10 IDEA环境下SparkSQL连接Hive的几个坑 - 简书
2021-09-15 14:15:02
356
原创 解决了上传文件到Hadoop中，部分节点在hadoop网页中的显示Datanode Information中blocks数为0的问题
执行命令后到hadoopWeb端一看，发现明明复制副本数设为3，为什么只有其中两个节点有分配到Blocks，其他没有呢？hdfs dfs -put /root/software/hadoop-3.2.0.tar.gz /user/root 但是输入hdfs fsck / -files -blocks查看节点信息时确实是显示有分配到blocks，难道是网络传输过去的时候出了问题： 再次尝试上传，发现出现以下错误： ...
2021-09-11 19:45:10
520
原创 运行有关hadoop的命令出错
ERROR: Cannot execute /root/software/hadoop-3.2.0/bin/libexec/hadoop-config.sh.前情提要： 执行start-dfs.sh启动hadoop时报上述错误，尝试执行hadoop version报相同的错误解决方法：寻思是否路径错了，查找一下它需要执行的hadoop-config.sh 果然，这个文件路径错了，对比报错的路径，少了一个bin。 想到...
2021-09-09 19:30:24
2787
原创 linux查看hadoop version出错
报错：WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.ERROR: JAVA_HOME /usr/java/default does not exist.原因：JAVA_HOME配置出错，系统找不到位置解决方案：重新配置JAVA_HOME1. 执行命令find / -name java 选中部分即为JAVA...
2021-09-09 13:34:41
3047
原创 WIN10javaJDK8安装教程
一、下载jdk8文件下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载步骤： 1、进入网站后往下拉，找到下载界面，选择自己合适的下载。二、安装双击运行刚下载好的exe文件，按步骤安装：三、配置环境变量（为什么要配置这个？https://blog.csdn.net/qq_4344252...
2021-07-07 20:24:25
1038
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人