bug
一位不愿透露姓名的肥宅
超级懒散,什么都做不好,还很怕生!
展开
-
spark4040页面内容缺失
根据报错信息可以得知没有png、css和js资源,只有html资源。百度后发现是版本问题,搜索类发现一个是2.5版本,一个是3.1版本。在本地maven仓库把低版本的jar删除即可解决。打开spark4040页面程序报错。原创 2023-03-14 10:53:29 · 291 阅读 · 1 评论 -
message from server: “Host ‘dsy‘ is not allowed to connect to this MySQL server“
在/etc/my.cnf 的[mysqld]下加入skip-grant-tables 然后重启mysql查看mysql.user表发现root用户没了?输入hive命令报错,重启后也没有用,随后尝试连接mysql出现这个问题。问题成功解决了但不知道为什么hive的表只剩default了,悲!在hive-conf.xml文件添加以下内容。尝试登陆mysql发现密码居然不能用了?重新添加root用户重启解决。添加root用户参考。原创 2023-03-08 16:07:05 · 173 阅读 · 0 评论 -
Could not deallocate container for task attemptId+内存溢出
字面意思,没有给任务分配container,在创建容器的过程中出错了。在执行hive语句时mr卡住不动然后查看日志报了这个错。在mapred-site.xml文件添加以下内容。在yarn-site.xml文件添加以下内容。重启hadoop集群后运行成功。原创 2023-03-08 13:37:47 · 59 阅读 · 0 评论 -
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
hive使用select count(*) from test;在yarn-site.xml文件中添加以下内容解决。原创 2023-03-08 11:39:32 · 174 阅读 · 0 评论 -
contains invalid character(s). Please use alias to rename it.;
spark写入hive orc表报错。原创 2023-03-08 10:51:53 · 410 阅读 · 0 评论 -
snappy.parquet could only be replicated to 0 nodes instead of minReplication (=1).
spark写入hive表报错。原创 2023-03-08 09:03:01 · 51 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform...
启动spark-shell或spark-submit时出现的警告,不影响程序运行。在 profile 文件中添加以下内容后source解决。原创 2023-03-07 15:44:14 · 98 阅读 · 0 评论 -
Unable to instantiate SparkSession with Hive support because Hive classes are not found.
spark集成hive报错。在xml文件加入以下依赖。原创 2023-03-07 13:49:57 · 385 阅读 · 0 评论 -
hbase.io.ImmutableBytesWritable不能序列化
org.apache.hadoop.hbase.io.ImmutableBytesWritable这个类不能序列化。在sparkConf设置一下序列化。原创 2023-03-01 11:27:06 · 103 阅读 · 0 评论 -
Spark写入Hbase空值异常
调试几次后发现是数据中有空值造成的,批量写入Hbase需要获取值转换为Byte数组,获取值为空导致转换失败了。加上一个条件判断后再次尝试。原创 2023-03-01 11:26:52 · 149 阅读 · 0 评论 -
ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 1)Long cannot be cast to java.lang.String
这是报错行,rowkey的id这个字段是我使用sparkSQL自带的函数临时添加的,打印schema发现是long类型。java Long类型好像不能getAs为String,所以报错了。尝试使用spark写入Hbase报错。将这个字段转换为String再次尝试。原创 2023-03-01 11:28:57 · 2575 阅读 · 0 评论 -
spark on yarn 读取hdfs拒绝连接AnnotatedConnectException: 拒绝连接: localhost/127.0.0.1:53056
可能是服务器找不到Driver导致的,在服务器的host配置你Driver电脑的映射可能解决问题,这里我是云服务器,没在一个局域网且没有公网ip所以放弃远程提交改用命令行提交。技术力有限,如果有更好的结局方案请留言,不胜感激。spark on yarn 读取hdfs拒绝连接。原创 2023-02-22 15:32:52 · 768 阅读 · 0 评论 -
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称,第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错,查看8088日志发现。原创 2023-02-22 11:29:34 · 907 阅读 · 0 评论 -
DFSClient: Exception in createBlockOutputStreamjava.net.ConnectException: Connection timed out
idea远程提交spark on yarn出现问题代码报错信息连接超时,防火墙已关闭,端口开放,重启hdfs后还是无法解决,捣鼓了很久在百度后再次查看日志在后面的报错中找到这么一串信息连接datanode使用的是私网ip,难怪连接不到,配置外网访问datanode就可以了。原创 2023-02-22 10:46:21 · 437 阅读 · 0 评论 -
spark连接hdfs文件系统一直报错说没有主机
使用telnet 测试9000端口是正常的,50070端口也能打开,ping连接测试正常。改host文件将Dream_yun改为dys后成功运行。spark连接hdfs文件系统一直报错说没有主机。主机名不能有下划线,好像不能识别。原创 2023-02-21 11:53:12 · 181 阅读 · 0 评论 -
authentication disabled; ui acls disabled; users with view permissions: Set(han);
刚把数据上传到hdfs准备用spark测试一下看能不能读取结果在创建执行环境时遇到了这个报错。翻译一下好像是权限问题。原创 2023-02-21 11:26:01 · 1349 阅读 · 0 评论 -
启动hadoop集群询问密码
再次启动不再询问密码。原创 2023-02-20 19:45:29 · 92 阅读 · 0 评论 -
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。原创 2023-02-20 12:37:35 · 372 阅读 · 1 评论 -
failed with state FAILED due to: Application application_xxx failed 2 times due to AM Container
在mapred-site.xml与yarn-site.xml文件中写入以下内容。在搭建好hadoop集群后使用以下命令测试mapreduce报错。可能是程序找不到主类造成的。原创 2023-02-14 01:13:17 · 830 阅读 · 0 评论 -
安装hive初始化元数据库时发生java.lang.ClassNotFoundException : com.mysql.cj.jdbc.Driver
如果我们在项目中配置的driver-class-name为com.mysql.cj.jdbc.Driver,则对应的mysql-connector-java版本应该是6.x。如果我们在项目中配置的driver-class-name为com.mysql.jdbc.Driver,则对应的mysql-connector-java版本应该是5.x。百度后得知,5.x和6.x的版本的Driver类路径不一样所以导致了这个报错。jar包存在,但是找不到,我想可能是版本问题,于是开始百度。修改完成后再次尝试初始化。原创 2023-02-12 06:01:04 · 655 阅读 · 0 评论