- 博客(4)
- 收藏
- 关注
原创 Pandas替代框架性能测评——Polars|Modin|Pandarallel|pySpark
Pandas在大数据处理上的不足,制约了其在数据科学领域的进一步发展,尽管它在小数据集上处理非常灵活方便;探究Pandas在大数据时代的替代品,是算法工程师面临的重要问题。当然,现在各类公有云和分析型数据库大行其道,大数据对于它们来说不是问题,但这往往需要付出一定的成本才能获得商用版本带来的便捷与高效。那么,有没有低成本的方案可供选择呢?反思Pandas面对大数据时羸弱的表现:由于Pandas在设计时只能单核运行,因此无法用到计算机的多核CPU,针对这个弱点的改善,业界实现了很多替代方案。下面分
2022-05-15 16:13:16
2580
原创 推荐系统感悟一:机器的战争
对很多人来说,推荐系统是一台没有说明书、操作按钮和外包装的机器,只需一股脑喂入数据,机器就能吐出想要的数据。人们不需要知道这个机器的运行原理,它一旦运行起来,就是如此神奇,能洞察人心,让人流连忘返。在制造这台机器——推荐系统的工程师看来,一切的发生都有因有果,机器上每个组件的细微偏差都会改变推荐结果的内涵,从而潜移默化的影响推荐体验,不动声色地翻转推荐效果的发展趋势。面对越来越多的数据量和不断升级的基础设施,机器随时会发生超载报警或者故障停止,这可能会大面积影响这台机器所服务的用户;这个时候也是机器
2020-12-06 12:27:58
131
原创 探索推荐系统的哲学意义
1. 推荐系统是数字世界的一个出口在现实的世界中,存在着在人、物和信息之间的交流,人与人的交流、人与物的交流和人与信息的交流,这三种交流基本覆盖了我们认识的现实世界。人在现实世界之外创造了虚拟的互联网世界,这个世界同样有着在现实世界里的人、物和信息之间的交流需求,人与人的交流需求催生了互联网社交的发展,人与物的交流需求催生了互联网电子商务的发展,人与信息的交流需求催生了互联网多媒体资讯的发...
2019-12-16 14:55:38
1098
原创 文本分类Keras RNN实践——应用腾讯和百度中文词向量
中文词向量深度学习在NLP领域大展身手,而深度学习处理文本,离不开文本的向量化。英语独特的语法规则,使得单用空格就能将句子中的单词分割开来,从而取得词向量,这极大简化了英语的NLP预处理过程,工业界学术界也有非常好的资源支持,如谷歌公司word2vec算法、斯坦福大学GloVe算法等等,应用这些英文开源词向量模型,大大扩展了英文自然语言处理使用的深度和广度。中文自文言文发展开始,丰富的...
2018-12-21 16:32:42
6967
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人