go语言学习（八）

1.socket编程

2.并发爬虫

3.web服务器编程

一、socket编程

服务端代码：

package main

import "net"

import "fmt"

func main() {

    //1.设置监听

    listener, _ := net.Listen("tcp", "127.0.0.1:8888")

    //2.建立连接

    conn, _ := listener.Accept()

    //3.接受数据

    buf := make([]byte, 1024)

    n, _ := conn.Read(buf)

    fmt.Println(string(buf[:n]))

}

客户端代码：

package main

import "net"

import "fmt"

func main() {

    //1.建立连接

    conn, _ := net.Dial("tcp", "127.0.0.1:8888")

    //2.发送数据

    var str string

    fmt.Scan(&str)

    conn.Write([]byte(str))

}

多客户端与服务器交互版本

服务器端：

package main

import "net"

import "fmt"

func main() {

    //1.设置监听

    listener, _ := net.Listen("tcp", "127.0.0.1:8888")

    for {

        //2.建立连接

        conn, _ := listener.Accept()

        //3.接受数据

        go func() {

            buf := make([]byte, 1024)

            for {

                n, _ := conn.Read(buf)

                fmt.Println(conn.RemoteAddr(), ":", string(buf[:n]))

            }

        }()

    }

}

客户端：

package main

import "net"

import "fmt"

func main() {

    //1.建立连接

    conn, _ := net.Dial("tcp", "127.0.0.1:8888")

    //2.发送数据

    var str string

    for {

        fmt.Scan(&str)

        conn.Write([]byte(str))

    }

}

udp版服务器：

package main

import "fmt"

import "net"

func main() {

    udp_addr, _ := net.ResolveUDPAddr("udp", ":8000")

    c, _ := net.ListenUDP("udp", udp_addr)

    buf := make([]byte, 1024)

    for {

        n, _ := c.Read(buf)

        fmt.Println("====>", string(buf[:n]))

    }

}

udp版客户端：

package main

import "fmt"

import "net"

func main() {

    c, _ := net.Dial("udp", "127.0.0.1:8000")

    var str string

    for {

        fmt.Scan(&str)

        c.Write([]byte(str))

    }

}

二、爬虫

使用net/http包爬去百度贴吧，go语言吧内容

package main

import (

    "fmt"

    "net/http"

)

func getHtml(path string) {

    res, err := http.Get(path)

    if err != nil {

        fmt.Println(err)

        return

    }

    var html string

    buf := make([]byte, 1024*4)

    for {

        n, _ := res.Body.Read(buf)

        if n == 0 {

            break

        }

        html += string(buf[:n])

    }

    fmt.Println(html)

}

func main() {

    getHtml("http://tieba.baidu.com/f?kw=go%E8%AF%AD%E8%A8%80&ie=utf-8&pn=50")

}

使用goroutine并发爬取，将爬到的内容写入文件

package main

import (

    "fmt"

    "net/http"

    "os"

    "strconv"

)

func getHtml(pageNum int, ch chan<- int) {

    path := "http://tieba.baidu.com/f?kw=go%E8%AF%AD%E8%A8%80&ie=utf-8&pn=50" + strconv.Itoa(pageNum*50)

    res, err := http.Get(path)

    if err != nil {

        fmt.Println(err)

        return

    }

    var html string

    buf := make([]byte, 1024*4)

    for {

        n, _ := res.Body.Read(buf)

        if n == 0 {

            break

        }

        html += string(buf[:n])

    }

    htmlWrite(strconv.Itoa(pageNum)+".html", html)

    ch <- pageNum

}

func htmlWrite(fileName, content string) {

    file, err := os.Create(fileName)

    defer file.Close()

    if err != nil {

        fmt.Println("Open file error :", err)

        return

    }

    n, err := file.WriteString(content)

    if n == 0 {

        fmt.Println("Write file error :", err)

        return

    }

}

func main() {

    ch := make(chan int)

    for i := 0; i < 5; i++ {

        go getHtml(i, ch)

    }

    for i := 0; i < 5; i++ {

        fmt.Printf("第%d个爬取成功\n", <-ch)

    }

}

（这里有个问题：在main()函数的最后使用死循环，程序无法执行。。。。。）

三、搭建简单web服务器

web版Hello go!!

package main

import "net/http"

func main() {

    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {

        w.Write([]byte("Hello go!!!!"))

    })

    http.ListenAndServe(":8080", nil)

}

使用浏览器访问http://127.0.0.1:8080/

使用http.handle

package main

import "net/http"

type indexHandler struct{}

func (i *indexHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {

    w.Write([]byte("Hello go!!!!"))

}

func main() {

    http.Handle("/", &indexHandler{})

    http.ListenAndServe(":8080", nil)

}