GO-爬虫

GO-爬虫

参考：https://www.bilibili.com/video/BV1ub411p7cz
简介：使用beego框架，写了一个爬取豆瓣电影的爬虫，爬取的是静态页面。爬取电影信息存入mysql，同时使用redis缓存爬取的urls，及电影id，用于去重及作为url队列。

预备条件

1. 下载beego框架,前提是配置好go的gopath:使用指令go get github.com/astaxie/beego下载
2. 下载bee工具：使用指令go get github.com/beego/bee
3. 下载mysql工具及redis工具：go get github.com/go-sql-driver/mysql go get github.com/astaxie/goredis
4. 安装mysql数据库
5. 安装redis
6. 定位到goPath下的src，使用bee new 项目名 创建一个项目

整体实现的思路

beego的简略框架：

爬虫的简略框架：

models中我们实现了分别对mysql，redis及根据网页爬取电影信息和url的方法，controller作为一个调用者调用models中的方法，我们利用redis创建队列，在controller中循环开启协程爬取url放入队列，另开启写成爬取指定url页面的电影信息入库

知识点简记

1. 在mysql中创建一张表，与类MovieInfo对应

create table movie_info(
	id int(10) unsigned NOT NULL AUTO_INCREMENT,
	movie_id int(11) unsigned NOT NULL COMMENT '电影id',
	movie_name varchar(100) COMMENT '电影名称',
	movie_pic varchar(200) COMMENT '电影图片',
	movie_director varchar(50) COMMENT '电影导演',
	movie_writer varchar(50) COMMENT '电影编剧',
	movie_country varchar(50) COMMENT '电影产地',
	movie_language varchar(50) COMMENT '电影语言',
	movie_main_character varchar(50) COMMENT '电影主演',
	movie_type varchar(50) COMMENT '电影类型',
	movie_on_time timestamp DEFAULT  NULL COMMENT '电影上映时间',
	movie_span varchar(20) COMMENT '电影时长',
	movie_grade varchar(5) COMMENT '电影评分',
	remark varchar(500) DEFAULT '' COMMENT '备注',
	_create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
	_modify_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON  UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',
	_statuts tinyint(1) DEFAULT '1',
	PRIMARY KEY(id),
	KEY idx_movie_id(movie_id),
	KEY idx_create_time(_create_time),
	KEY idx_modifty_time(_modify_time)
)ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='电影信息表';

3. 通过httplib包提取出访问页面的html

import(
	"github.com/astaxie/beego/httplib"
)
url := "https://movie.douban.com/"
req := httplib.Get(url)
movieHtml,_ := req.String()

2. 通过regexp包来利用正则表达式提取信息

import "regexp"
//假如要提取的是id，希望提取的东西用括号界定出来，\d表示数组，+表示任意个，假如要提取的是字符，则使用(.*?)表示任意的字符，尽量短的匹配
reg := regexp.MustCompile(`/(\d+)/`)
result := reg.FindAllStringSubmatch(url,-1)
if len(result)==0{
	return ""
}
//注意返回的是一个二维数组，0位置上是匹配的字符串，1位置上是想要提取的括号内的字符串
return result[0][1]

3. 使用orm包及mysql驱动来处理操作mysql的请求

import (
	"github.com/astaxie/beego/orm"
	_"github.com/go-sql-driver/mysql"
)
//初始化
func init(){
	orm.Debug = true	orm.RegisterDataBase("default","mysql","root:密码@tcp(127.0.0.1:3306)/test?charset=utf8",30)
	orm.RegisterModel(new(MovieInfo))
	db = orm.NewOrm()
}
//之后就可以使用db来对mysql进行增删改查了

注意，类对应在数据库中的表是类名除了第一个字母之后的所有大写字母前面都是_，且都是小写，比如MovieInfo对应mysql的表名为movie_info
4. 使用goredis包操作redis：连接redis后用关键字插入值或取出来

models.ConnectRedis("127.0.0.1:6379")

运行

开启mysql和redis，可以使用页面方位http://127.0.0.1:8080/crawl_movie开始爬取，也可以打开git bash在后台调用curl “http://127.0.0.1:8080/crawl_movie”&爬取