MongoDB
飘满红楼
勿在浮沙筑高台,不为繁华易匠心
展开
-
spark(scala)中对mongodb以及excel的处理和小问题的解决(比如select传入可变参数问题解决)
背景:采用spark读取mongodb和Excel的数据,由于mongodb是bson类型的数据,需要的字段名比较少且按照层级选取,想到的办法是先把数据全部读成df,然后通过select操作查找需要的字段出现的问题是:因为将生成特定字段的df封装成函数,而函数本身是需要传入字段名列表(Seq类型)的,而select操作通过看源码接收的参数类型是col : scala.Predef.String, cols : scala.Predef.String*类型的,所以需要处理相关函数原创 2020-09-20 11:02:06 · 460 阅读 · 0 评论 -
centos上MongoDB采坑记录及解决
工作中需要用到MongoDB这种nosql,因为第一次接触,部署和启动踩了不少坑,记录一下安装MongoDB4.2:分离线和在线的两种:在线:参考这个大佬的https://www.cnblogs.com/SnowBaby/p/11569541.html离线:下载离线包链接:https://pan.baidu.com/s/1Mk0TpNfn4BnMQchdfBk27w提...原创 2019-12-03 14:35:22 · 1149 阅读 · 0 评论