- 博客(10)
- 收藏
- 关注
RSS订阅
2原创 报错-hive on spark执行数据导入脚本报错
FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client due to invalid resource request: Required executor memory (2048), overhead (384 MB), and PySpark memory (0 MB) is above
2022-04-15 16:53:16
2583
原创 报错- Hadoop下core-site配置压缩参数后测试失败
java.lang.IllegalArgumentException: Compression codec org.apache.hadoop.io.compress.GzipCodec not found.Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.io.compress.GzipCodec not found
2022-04-11 21:28:42
1250
原创 报错- Hadoop集群启动后DataNode消失一个
ERROR org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: D ata node DatanodeRegistration(192.168.10.102:9866, datanodeUuid=55173a5c-2022-4da1-88e7-6f951a5d07 1d, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;
2022-04-11 21:19:03
2241
原创 学习笔记-大数据之路-数据模型篇-建模综述
第8章 大数据领域建模综述8.1，为什么需要数据建模 数据爆发增长，如何将这些数据进行有序、有结构地分类组织和存储(数据太多了，怎么办才能将数据放规矩点，方便后续查找，不要到处散乱) 数据模型建立后好处：性能 ：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐。 (查询速度快)成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。 （降本增效）效率 ：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效
2022-04-04 15:09:59
1532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人