分布式系统
分布式基础,raft,事务,pasox,zk,redis,etcd,5G时代来了,分布式和机器学习必须学起来!!
编程实战营
爱老婆娃儿、爱技术、爱锻炼的小胖子,哈哈
展开
-
mit 6.824 分布式课程 word count实验
一、实验准备工作Now you will implement word count — a simple Map/Reduce example. Look in main/wc.go; you'll find empty mapF() and reduceF() functions. Your job is to insert code so that wc.go reports the nu...原创 2018-10-11 11:13:24 · 850 阅读 · 0 评论 -
分布式学习之raft算法
目录一、Raft基础二、Leader选举流程2.1 初始化时,所有follower都在等待成为candidate的场景2.2 获得多数派投票成为leader2.3 接收到leader的Append Entries消息(心跳包)2.4 同时存在两个candidate,并且获得选票相同三、日志复制过程3.1 Leader发起request请求3.2 leader节点...原创 2018-09-29 17:05:28 · 977 阅读 · 0 评论 -
mit 6.824 分布式课程 mapReduce实验
开始时间 2018-10-08 18:00 任务安排阅读mapReduce实验的go语言代码,梳理流程。2天工作时间原创 2018-10-08 18:21:50 · 429 阅读 · 0 评论 -
mit 6.824 分布式课程 Distributing MapReduce tasks实验
One of Map/Reduce's biggest selling points is that the developer should not need to be aware that their code is running in parallel on many machines. In theory, we should be able to take the word coun...原创 2018-10-16 15:36:57 · 413 阅读 · 0 评论 -
分布式网页爬虫系统 设计和实现
分布式爬虫设计和实现1.总体设计功能模块划分:数据抓取引擎1.1 调研市面上爬虫框架或库pholcuscollygocrawl开发工具:goland开发语言:golang数据存储:ElasticSearch前端展示:使用Go语言标准模板库实现http的数据显示部分爬取内容:相亲类网站的数据爬虫算法:城市列表 --城市--用户信息,从种...原创 2019-02-08 09:57:01 · 2139 阅读 · 3 评论 -
分布式任务调度系统设计文档
一、需求设计======1.1 需求概述--------**背景:**传统的crontab任务调度存在以下缺点1.机器故障,任务停止调度,设置crontab配置都找不回来(单机故障)2.任务数量多,单机的硬件资源耗尽,需要人工的迁移到其他机器上(扩展性不好)3.需要人工去机器上配置crontab规则,任务执行状态不方便查看(可通过配置中心来批量管理多台机器)以上都是传统的cr...原创 2019-08-09 16:59:50 · 1077 阅读 · 0 评论