IT-大数据
文章平均质量分 94
LarryHai6
一直致力于开源技术和软件架构实践,追求业务和技术的最佳实践
| 个人的专业领域包括 大型分布式系统/应用架构设计 云原生架构设计 微服务架构设计 Agile和DevOps最佳实践 DDD设计方法论 数据建模与分析 | 联系方式: 邮件: liuhaidl9@163.com
展开
-
架构设计参考项目系列主题:机器学习平台如何建设与指南
本文转自:ThoughtWorks洞见目录1. 平台的业务2. 基础设施3. 原始数据4. 数据导入5. 数据处理6. 模型训练7. 模型发布8. Addons9. 探索实验(Notebook)10. 平台的基石11. 最终Boss伴随着数据化、智能化的浪潮,很多大企业为了沉淀通用技术和业务能力;加快企业智能化、规模化智能开发,开始了自建机器学习平台。从零搭建一个机器学习平台的复杂度是不容小觑的,关于平台的定位、需要解决的问题;及其架构、技术选型等需要提转载 2021-04-23 08:35:20 · 432 阅读 · 1 评论 -
垂直爬虫工作流程详解
在垂直搜索的索引建立之前,我们需要到垂直网站上抓取资源并做一定的处理。垂直搜索与通用搜索不同之处在于,通用搜索不需要理会网站哪些资源是需要的,哪些是不需要的,一并抓取并将其文本部分做索引。而垂直搜索里,我们的目标网站往往在某一领域具有其专业性,其整体网站的结构相当规范(否则用户体验也是个灾难,想想东一篇文章西一篇文章基本没人会喜欢),并且垂直搜索往往只需要其中一部分具有垂直性的资源,所以垂直爬虫相...转载 2019-01-02 22:14:04 · 336 阅读 · 0 评论