go_spider 简单爬虫实现

1.前情提要

作为一个根正苗红的php程序员（筑基前期的程序员），很容易不知道自己想做什么。庞大的系统搞不定，增删改查没意思。。。
在这个背景下，为了学习到php没有的特性（高性能，并发）接受到了公司老员工的火爆安利，对golang的兴趣很大。

2.代码实现

以下是完整代码     

package main

import (
	"fmt"
	"log"
	"strings"

	"github.com/PuerkitoBio/goquery"
	_ "github.com/go-sql-driver/mysql"  //载入数据库驱动
	"github.com/go-xorm/xorm"
	"github.com/hu17889/go_spider/core/common/page"
	"github.com/hu17889/go_spider/core/common/request"
	"github.com/hu17889/go_spider/core/spider"
)

const (
	rooturl = "http://www.77kp.com"  // 爬取网站的根目录
)

type Db77kp struct {
	Id    int64
	Name  string
	Xlurl string
}

var mysqluser string = "test"
var mysqlpass string = "123456"
var mysqlhost string = "127.0.0.1:3306"
var mysqlname string = "77kp"

//爬取77kp网站，获取迅雷下载地址

//- url 入口
// http://www.77kp.com/

//- 爬取 ```ul.txt-list a href ``` 获得详情页跳转地址
//- 爬取 ``` ul.downurl a href a text``` 获取该影片迅雷下载地址，并储存数据库
//- 爬取 ```ul.txt-list a href ```继续加入下载队列

type MyPageProcesser struct {
}

func NewMyPageProcesser() *MyPageProcesser {
	return &MyPageProcesser{}
}

//网页解析器
func (this *MyPageProcesser) Process(p *page.Page) {
	if !p.IsSucc() {
		println(p.Errormsg())
		return
	}

	// 连接数据库
	conn := mysqluser + ":" + mysqlpass + "@tcp(" + mysqlhost + ")/" + mysqlname + "?charset=utf8"
	engine, mysqlErr := xorm.NewEngine("mysql", conn)
	if mysqlErr != nil {
		log.Print("数据库连接失败！")
		log.Print(mysqlErr)
	}
        
	query := p.GetHtmlParser()
        
        // 获取页面上相同类型的url，准备加入待爬取页面列表
	href, _ := query.Find(".txt-list.txt-list-small a").Attr("href")
	href = strings.Trim(href, "\t\n")
        
        // 爬取当前页面是哪部电视剧的名称
	name := query.Find(".detail-title h2").Text()
	name = strings.Trim(name, " \t\n")

	//	var durlMap map[int]string

        // 循环爬取页面中迅雷下载地址和剧集名称，并存入数据库中
	query.Find(".downurl .dwon_xl a").Each(func(i int, s *goquery.Selection) {
		dramaName, _ := s.Attr("title")
		downurl, _ := s.Attr("href")
		_, errins := engine.Query("INSERT INTO `77kp` (`name`, `xlurl`) VALUES ('" + dramaName + "', '" + downurl + "')")
		if errins != nil {
			log.Print("插入数据库失败！")
			log.Print(errins.Error())
		}
		fmt.Println("剧集名称:" + dramaName)
		fmt.Println("剧集下载地址:" + downurl)
		fmt.Println("插入数据库成功！")
	})

        // 将待爬取的链接加入爬取列表中
	addRequest(p, "77kp", rooturl+href, "", "")

	fmt.Printf("页面名称：%v \n 页面路由：%v \n", name, href)
	//	p.AddField("summary", summary)
	//	p.AddField("href", href)
}

// 爬取完成方法
func (this *MyPageProcesser) Finish() {
	fmt.Printf("爬取完成！ \r\n")
}

// 添加待爬取url方法
func addRequest(p *page.Page, tag, url, cookie, content string) {
	req := request.NewRequest(url, "html", tag, "GET", "", nil, nil, nil, nil)
	p.AddTargetRequestWithParams(req)
}

func main() {
	sp := spider.NewSpider(NewMyPageProcesser(), "77kp")
        // 入口地址
	req := request.NewRequest("http://www.77kp.com/vod-detail-id-5269.html", "html", "", "GET", "", nil, nil, nil, nil)
	pageItems := sp.GetByRequest(req)
	url := pageItems.GetRequest().GetUrl()
	println("url\t:\t" + url)
	//	for name, value := range pageItems.GetAll() {
	//		println(name + "\t:\t" + value)
	//	}
}

转载于:https://my.oschina.net/u/3269678/blog/876739