- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势
原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界原文链接本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
2023-09-26 21:41:50
324
原创 大模型应用开发框架 LangChain 学习笔记
一时间大模型如百花齐放，百鸟争鸣，并在向各个行业领域渗透，让人感觉通用人工智能仿佛就在眼前。基于大模型开发的应用和产品也如雨后春笋，让人目不暇接，每天都有很多新奇的应用和产品问世，有的可以充当你的朋友配你聊天解闷，有的可以充当你的老师帮你学习答疑，有的可以帮你写文章编故事，有的可以帮你写代码改 BUG，大模型的崛起正影响着我们生活中的方方面面。正是在这样的背景下，为了方便和统一基于大模型的应用开发，一批大模型应用开发框架横空出世，LangChain 就是其中最流行的一个。正如前文所述，LangChain 是
2023-09-22 00:15:14
2474
A Few Useful Things to Know about Machine Learning
A Few Useful Things to Know about Machine Learning
2023-09-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人