分布式系统课程笔记——2(1)

附代码：

package main

import (

“fmt”

“sync”

)

//

// Several solutions to the crawler exercise from the Go tutorial

// https://tour.golang.org/concurrency/10

//

//

// Serial crawler

//

func Serial(url string, fetcher Fetcher, fetched map[string]bool) {

if fetched[url] {

return

}

fetched[url] = true

urls, err := fetcher.Fetch(url)

if err != nil {

return

}

for _, u := range urls {

Serial(u, fetcher, fetched)

}

return

}

//

// Concurrent crawler with shared state and Mutex

//

type fetchState struct {

mu sync.Mutex

fetched map[string]bool

}

func ConcurrentMutex(url string, fetcher Fetcher, f *fetchState) {

f.mu.Lock()

already := f.fetched[url]

f.fetched[url] = true

f.mu.Unlock()

if already {

return

}

urls, err := fetcher.Fetch(url)

if err != nil {

return

}

var done sync.WaitGroup

for _, u := range urls {

done.Add(1)

u2 := u

go func() {

defer done.Done()

ConcurrentMutex(u2, fetcher, f)

}()

//go func(u string) {

// defer done.Done()

// ConcurrentMutex(u, fetcher, f)

//}(u)

}

done.Wait()

return

}

func makeState() *fetchState {

f := &fetchState{}

f.fetched = make(map[string]bool)

return f

}

//

// Concurrent crawler with channels

//

func worker(url string, ch chan []string, fetcher Fetcher) {

urls, err := fetcher.Fetch(url)

if err != nil {

ch <- []string{}

} else {

ch <- urls

}

}

func master(ch chan []string, fetcher Fetcher) {

n := 1

fetched := make(map[string]bool)

for urls := range ch {

for _, u := range urls {

if fetched[u] == false {

fetched[u] = true

n += 1

go worker(u, ch, fetcher)

}

}

n -= 1

if n == 0 {

break

}

}

}

func ConcurrentChannel(url string, fetcher Fetcher) {

ch := make(chan []string)

go func() {

ch <- []string{url}

}()

master(ch, fetcher)

}

//

// main

//

func main() {

fmt.Printf(“=== Serial===\n”)

Serial(“http://golang.org/”, fetcher, make(map[string]bool))

fmt.Printf(“=== ConcurrentMutex ===\n”)

ConcurrentMutex(“http://golang.org/”, fetcher, makeState())

fmt.Printf(“=== ConcurrentChannel ===\n”)

ConcurrentChannel(“http://golang.org/”, fetcher)

}

//

// Fetcher

//

type Fetcher interface {

// Fetch returns a slice of URLs found on the page.

Fetch(url string) (urls []string, err error)

}

// fakeFetcher is Fetcher that returns canned results.

type fakeFetcher map[string]*fakeResult

type fakeResult struct {

body string

urls []string

}

func (f fakeFetcher) Fetch(url string) ([]string, error) {

if res, ok := f[url]; ok {

fmt.Printf(“found: %s\n”, url)

return res.urls, nil

}

fmt.Printf(“missing: %s\n”, url)

return nil, fmt.Errorf(“not found: %s”, url)

}

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

小编利用空余时间整理了一份《MySQL性能调优手册》，初衷也很简单，就是希望能够帮助到大家，减轻大家的负担和节省时间。

关于这个，给大家看一份学习大纲（PDF）文件，每一个分支里面会有详细的介绍。

这里都是以图片形式展示介绍，如要下载原文件以及更多的性能调优笔记（MySQL+Tomcat+JVM）！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

最后

小编利用空余时间整理了一份《MySQL性能调优手册》，初衷也很简单，就是希望能够帮助到大家，减轻大家的负担和节省时间。

关于这个，给大家看一份学习大纲（PDF）文件，每一个分支里面会有详细的介绍。

[外链图片转存中…(img-odZkPeQc-1713538597899)]

这里都是以图片形式展示介绍，如要下载原文件以及更多的性能调优笔记（MySQL+Tomcat+JVM）！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！