分布式系统课程笔记——2

}

fetched[url] = true

urls, err := fetcher.Fetch(url)

if err != nil {

return

}

for _, u := range urls {

Serial(u, fetcher, fetched)

}

return

}

//

// Concurrent crawler with shared state and Mutex

//

type fetchState struct {

mu sync.Mutex

fetched map[string]bool

}

func ConcurrentMutex(url string, fetcher Fetcher, f *fetchState) {

f.mu.Lock()

already := f.fetched[url]

f.fetched[url] = true

f.mu.Unlock()

if already {

return

}

urls, err := fetcher.Fetch(url)

if err != nil {

return

}

var done sync.WaitGroup

for _, u := range urls {

done.Add(1)

u2 := u

go func() {

defer done.Done()

ConcurrentMutex(u2, fetcher, f)

}()

//go func(u string) {

// defer done.Done()

// ConcurrentMutex(u, fetcher, f)

//}(u)

}

done.Wait()

return

}

func makeState() *fetchState {

f := &fetchState{}

f.fetched = make(map[string]bool)

return f

}

//

// Concurrent crawler with channels

//

func worker(url string, ch chan []string, fetcher Fetcher) {

urls, err := fetcher.Fetch(url)

if err != nil {

ch <- []string{}

} else {

ch <- urls

}

}

func master(ch chan []string, fetcher Fetcher) {

n := 1

fetched := make(map[string]bool)

for urls := range ch {

for _, u := range urls {

if fetched[u] == false {

fetched[u] = true

n += 1

go worker(u, ch, fetcher)

}

}

n -= 1

if n == 0 {

break

}

}

}

func ConcurrentChannel(url string, fetcher Fetcher) {

ch := make(chan []string)

go func() {

ch <- []string{url}

}()

master(ch, fetcher)

}

//

// main

//

func main() {

fmt.Printf(“=== Serial===\n”)

Serial(“http://golang.org/”, fetcher, make(map[string]bool))

fmt.Printf(“=== ConcurrentMutex ===\n”)

ConcurrentMutex(“http://golang.org/”, fetcher, makeState())

fmt.Printf(“=== ConcurrentChannel ===\n”)

ConcurrentChannel(“http://golang.org/”, fetcher)

}

//

// Fetcher

//

type Fetcher interface {

// Fetch returns a slice of URLs found on the page.

Fetch(url string) (urls []string, err error)

}

// fakeFetcher is Fetcher that returns canned results.

type fakeFetcher map[string]*fakeResult

type fakeResult struct {

body string

urls []string

}

func (f fakeFetcher) Fetch(url string) ([]string, error) {

if res, ok := f[url]; ok {

fmt.Printf(“found: %s\n”, url)

return res.urls, nil

}

fmt.Printf(“missing: %s\n”, url)

return nil, fmt.Errorf(“not found: %s”, url)

}

// fetcher is a populated fakeFetcher.

var fetcher = fakeFetcher{

“http://golang.org/”: &fakeResult{

“The Go Programming Language”,

[]string{

“http://golang.org/pkg/”,

“http://golang.org/cmd/”,

},

},

“http://golang.org/pkg/”: &fakeResult{

“Packages”,

[]string{

“http://golang.org/”,

“http://golang.org/cmd/”,

“http://golang.org/pkg/fmt/”,

“http://golang.org/pkg/os/”,

},

},

“http://golang.org/pkg/fmt/”: &fakeResult{

“Package fmt”,

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后总结

ActiveMQ+Kafka+RabbitMQ学习笔记PDF

• RabbitMQ实战指南

• 手写RocketMQ笔记

• 手写“Kafka笔记”

关于分布式，限流+缓存+缓存，这三大技术（包含：ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ）等等。这些相关的面试也好，还有手写以及学习的笔记PDF，都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍，并且小编也已经将其整理成PDF啦
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
afka笔记”

[外链图片转存中…(img-W0nlCT2o-1713538630869)]

关于分布式，限流+缓存+缓存，这三大技术（包含：ZooKeeper+Nginx+MongoDB+memcached+Redis+ActiveMQ+Kafka+RabbitMQ）等等。这些相关的面试也好，还有手写以及学习的笔记PDF，都是啃透分布式技术必不可少的宝藏。以上的每一个专题每一个小分类都有相关的介绍，并且小编也已经将其整理成PDF啦
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！