- 博客(13)
- 收藏
- 关注
RSS订阅原创 Hive导出数据到hdfs时报错：Unable to move source hdfs:XXX
insert overwrite 时发生了上述错误，从下图可以看到，hive任务已经执行成功了，只是在把数据从临时目录转移到指定目录时发生了错误。使用命令：hadoop fs -chmod 766 film_name修改。可以看到要写入的文件夹的权限不够，所以修改使其具有读写权限即可。或者在hdfs网页端修改，鼠标放到图中所在位置即会出现修改界面。修改文件夹权限后，再次执行就成功了。
2024-05-19 17:19:02
231
1
原创 iterator.remove()操作报错：java.lang.UnsupportedOperationException
解决方案：将Arrays.asList换成ArrayList生成集合即可。具体原因：Arrays.asList 不允许remove。
2024-05-16 01:12:10
174
原创 用户无访问权限：Access denied for user ‘hive‘@‘sp1‘ to database ‘spark_project‘
进入mysql，执行下面语句，给予hive用户权限即可。原因是hive用户对这个数据库无访问权限。
2024-05-10 15:07:16
127
2
原创 IDEA打包后执行报错：Invalid signature file digest for Manifest main attributes
子目录中所有包含.SF、.DSA、.RSA的文件删除，再上传运行即可。
2024-05-10 15:01:08
240
原创 关于CentOS 6.X系列各大开源镜像站Yum源失效404问题解决
将你自己的yum源文件修改成阿里云Vault镜像。将enabled=1 改为enabled=0。先用以下命令找到自己的centos版本。具体内容如下：(我自己的是6.4版本)将yum源文件修改完后放到。
2024-04-29 21:07:52
281
1
原创 解决virtualbox桥接模式下主机和虚拟机ping不通的问题
这里要注意你设置的IP地址和上图中的IPv4地址是同一个网段的，从上图可见我主机的IPv4地址为100.64.204.253，所以我虚拟机设置的就应该是100.64.204.X，以保证虚拟机和主机IP在同一个网段。首先打开Windows系统的命令提示符，输入ipconfig获得主机的ip相关信息，因为我是笔记本连的wifi，所以看的是WLAN，如果是其他联网方式的话找到自己相应的适配器信息就行。你的网关和子网掩码和你主机的设置成一样的就行，上面的命令提示符查询那里都可以看到这些信息的。
2024-04-29 18:18:58
854
1
原创 Linux中安装（更新）setuptools和pip时弹出黄色警告
警告如下：原因：conda使用pip安装包时会出现无法下载的问题，或者pip直接无反应，可能会出现这种错误。
2024-04-23 22:15:33
177
原创 datagrip连接hiveserver2连不上或者报错：XXX is not allowed to impersonate anonymous
启动hiveserver2后，使用DataGrip进行测试连接，前一次是一直转圈圈，后来把集群重启了一次再连接就给我报错。重启hadoop集群和hiveserver2，然后测试连接成功。
2024-04-20 16:06:22
397
2
原创 Hive初始化元数据库时报错：Unknown version specified for initialization: 3.1.0
经检查后1、2、3都可排除，最后发现是4的原因，因为之前有安装过一个版本的MySQL，后来因为换版本，把所有含mysql的文件夹都删除了。我最后是把hive卸载然后重新安装，把流程都走一遍就解决问题了。
2024-04-18 02:17:22
386
1
原创 Maven报错：Plugin ‘maven-assembly-plugin:‘ not found
进入maven官网查询maven assembly plugin的插件信息，发现相关依赖里应该是包含完整的groupId、artifactId和版本号，然后进入自己本地的maven仓库，查询自己的maven assembly plugin相应的版本，然后添加进去即可。IDEA的POM文件配置如下，报错Plugin 'maven-assembly-plugin:' not found。
2024-04-17 01:12:11
531
原创 MAVEN 报错：Plugin ‘org.apache.maven.plugins:maven-compiler-plugin:2.3.2‘ not found
一开始网上搜索发现大家都在说是JDK版本跟POM文件配置的版本不一致，但检查后发现自己的是一致的，都是1.8，而且maven本地仓库也有2.3.2版本的maven-compiler-plugin。然后去maven官网查询相关插件信息发现，自己的POM配置中少了一行groupId，加入后这个错误就解决了。
2024-04-17 01:02:54
460
原创 kafka启动后很快就自动关闭
zookeeper没有先启动，导致kafka和zookeeper无法连接，然后自动关闭。解决方法：先启动zookeeper，再启动kafka就没问题了。
2024-04-16 12:44:08
388
1
原创 NotSerializableException不可序列化异常怎么处理
spark调试代码时抛出异常：不可序列化，经检查发现是类没有序列化。因为网络传输数据必须先将数据序列化，而普通类需要继承Serializable接口才能实现序列化。
2024-04-13 01:14:54
135
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人