go_spider 简单爬虫实现

最新推荐文章于 2024-09-07 21:16:12 发布

置顶

咸鱼王刘子沐

最新推荐文章于 2024-09-07 21:16:12 发布

阅读量1.5k

点赞数

分类专栏： golang 文章标签：爬虫 golang go go-spider

本文链接：https://blog.csdn.net/qq_29646377/article/details/70052566

版权

本文介绍了如何使用Golang编写一个简单的爬虫go_spider，涵盖了从前情提要到具体代码实现的详细步骤。

摘要由CSDN通过智能技术生成

1.前情提要

作为一个根正苗红的php程序员（筑基前期的程序员），很容易不知道自己想做什么。庞大的系统搞不定，增删改查没意思。。。
在这个背景下，为了学习到php没有的特性（高性能，并发）接受到了公司老员工的火爆安利，对golang的兴趣很大。

2.代码实现

以下是完整代码

package main

import (
    "fmt"
    "log"
    "strings"

    "github.com/PuerkitoBio/goquery"
    _ "github.com/go-sql-driver/mysql"  //载入数据库驱动
    "github.com/go-xorm/xorm"
    "github.com/hu17889/go_spider/core/common/page"
    "github.com/hu17889/go_spider/core/common/request"
    "github.com/hu17889/go_spider/core/spider"
)

const (
    rooturl = "http://www.77kp.com"  // 爬取网站的根目录
)

type Db77kp struct {
    Id    int64
    Name  string
    Xlurl string
}

var mysqluser