![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 62
绿桂圆
这个作者很懒,什么都没留下…
展开
-
图数据库Nebula在推荐中的应用
1. 背景运维调研图数据库差不多有半年多了,试用了Neo4j和Nebula,Nebula因其免费、开源的分布式支持成为了最终的图数据库选型确定的方案。在测试环境积累了一定的运维经验后,需要应用在真实的业务场景中。搜索推荐要引入个性化推荐(在此之前主要基于Query搜索词扩展推荐),离线算法召回结果需要一个能够支撑亿级数据规模的存储引擎,之前的首页个性化推荐召回存储方案经历了HBase -> Cassandra的变迁,但目前看来,Cassandra的稳定性和数据读取性能并不是太如人意,因此调研通过Ne原创 2021-09-19 23:42:33 · 551 阅读 · 0 评论 -
spark2-submit 提交 python(pyspark)项目
两种方式localyarn假设一个pyspark的项目下边有两个文件:main.py和utils.pylocal(1)目录结构(2)提交命令spark2-submit --master local --deploy-mode client main.pyyarn(1)目录结构其中main.py是项目的主入口文件,utils.py中可能包含一些UDF,projec...原创 2019-10-13 08:04:20 · 1985 阅读 · 0 评论