一、需求分析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250
抓取字段：电影名称、评分、评价人数
二、运行：
正在抓取第0页……
肖申克的救赎 9.6 824764人
这个杀手不太冷 9.4 791399人
霸王别姬 9.5 589028人
阿甘正传 9.4 678850人
美丽人生 9.5 394009人
千与千寻 9.2 630458人
辛德勒的名单 9.4 364712人
泰坦尼克号 9.2 624623人
盗梦空间 9.2 732345人
机器人总动员 9.3 480979人
海上钢琴师 9.2 577308人
三傻大闹宝莱坞 9.1 641152人
忠犬八公的故事 9.2 430317人
放牛班的春天 9.2 432372人
大话西游之大圣娶亲 9.2 465333人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的世界 9.0 428408人
乱世佳人 9.2 261186人
天堂电影院 9.1 298513人
当幸福来敲门 8.9 517770人
触不可及 9.1 350506人
搏击俱乐部 9.0 391458人
十二怒汉 9.3 162947人
无间道 9.0 379235人
正在抓取第1页……
熔炉 9.2 230668人
指环王3：王者无敌 9.1 274576人
怦然心动 8.9 516559人
天空之城 9.0 317896人
罗马假日 8.9 370862人
少年派的奇幻漂流 9.0 557923人
大话西游之月光宝盒 8.9 377930人
鬼子来了 9.1 215894人
星际穿越 9.1 458151人
蝙蝠侠：黑暗骑士 9.0 301300人
两杆大烟枪 9.0 263387人
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 266980人
窃听风暴 9.1 210963人
海豚湾 9.3 175994人
闻香识女人 8.9 306894人
V字仇杀队 8.8 393427人
美丽心灵 8.9 292012人
教父2 9.1 177785人
哈尔的移动城堡 8.8 329450人
指环王2：双塔奇兵 8.9 259420人
指环王1：魔戒再现 8.9 289417人
天使爱美丽 8.7 462798人
情书 8.8 355630人
正在抓取第2页……
死亡诗社 8.9 261989人
美国往事 9.1 165768人
七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的一生 8.9 261601人
致命魔术 8.8 322267人
控方证人 9.6 74343人
勇敢的心 8.8 284474人
剪刀手爱德华 8.7 461650人
饮食男女 9.0 177612人
小鞋子 9.2 127801人
音乐之声 8.9 221186人
低俗小说 8.7 314236人
入殓师 8.8 305490人
本杰明·巴顿奇事 8.7 374361人
沉默的羔羊 8.7 332710人
蝴蝶效应 8.7 361872人
黑客帝国 8.8 263790人
拯救大兵瑞恩 8.8 221863人
素媛 9.1 159897人
玛丽和马克思 8.9 224392人
西西里的美丽传说 8.7 322475人
心灵捕手 8.7 253548人
正在抓取第3页……
幽灵公主 8.8 221276人
第六感 8.8 219997人
阳光灿烂的日子 8.7 254632人
让子弹飞 8.7 591987人
春光乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 90498人
射雕英雄传之东成西就 8.7 259390人
重庆森林 8.6 305208人
阳光姐妹淘 8.8 252293人
上帝之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
加勒比海盗 8.6 314012人
爱在黎明破晓前 8.7 204426人
狩猎 9.0 112979人
布达佩斯大饭店 8.7 283495人
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 191782人
疯狂动物城 9.2 456022人
正在抓取第4页……
摩登时代 9.2 80291人
爱在日落黄昏时 8.7 186451人
猫鼠游戏 8.7 202371人
末代皇帝 8.8 148111人
侧耳倾听 8.8 155656人
哈利·波特与魔法石 8.6 229709人
驯龙高手 8.7 267113人
超脱 8.7 159754人
海洋 9.0 95004人
幸福终点站 8.6 213611人
穿条纹睡衣的男孩 8.8 127481人
菊次郎的夏天 8.7 165585人
燃情岁月 8.8 142374人
消失的爱人 8.7 323395人
倩女幽魂 8.6 228708人
神偷奶爸 8.5 345293人
电锯惊魂 8.6 186192人
谍影重重3 8.7 169379人
岁月神偷 8.6 289352人
真爱至上 8.5 292293人
借东西的小人阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
虎口脱险 8.9 101112人
恐怖直播 8.7 194852人
正在抓取第5页……
贫民窟的百万富翁 8.5 376457人
东邪西毒 8.6 233910人
记忆碎片 8.5 258781人
疯狂原始人 8.7 348948人
杀人回忆 8.6 191049人
怪兽电力公司 8.6 221069人
红辣椒 8.8 116235人
卢旺达饭店 8.8 109739人
黑天鹅 8.5 390705人
穿越时空的少女 8.6 173268人
魂断蓝桥 8.8 122263人
恋恋笔记本 8.5 259857人
猜火车 8.5 229628人
喜宴 8.8 125182人
英雄本色 8.7 136379人
雨中曲 8.9 87275人
傲慢与偏见 8.4 278663人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
喜剧之王 8.4 280151人
完美的世界 9.0 72740人
纵横四海 8.7 130696人
玩具总动员3 8.7 181584人
萤火之森 8.7 141373人
人工智能 8.6 177331人
正在抓取第6页……
我是山姆 8.8 93435人
浪潮 8.7 120227人
香水 8.4 256627人
冰川时代 8.4 251942人
7号房的礼物 8.7 155404人
撞车 8.6 163627人
哈利·波特与死亡圣器(下) 8.6 253235人
花样年华 8.5 224652人
追随 9.0 72964人
朗读者 8.5 262929人
一次别离 8.7 122269人
碧海蓝天 8.7 103214人
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 102680人
战争之王 8.5 162502人
荒蛮故事 8.7 114197人
可可西里 8.6 119344人
心迷宫 8.6 138691人
唐伯虎点秋香 8.3 289176人
超能陆战队 8.6 335960人
时空恋旅人 8.6 176282人
海盗电台 8.6 157460人
地球上的星星 8.8 74442人
谍影重重2 8.5 147237人
正在抓取第7页……
蝙蝠侠：黑暗骑士崛起 8.5 271620人
谍影重重 8.5 177826人
阿飞正传 8.5 163181人
小森林 冬春篇 8.9 95803人
恐怖游轮 8.3 285469人
迁徙的鸟 9.1 49228人
荒野生存 8.6 118434人
勇闯夺命岛 8.5 132085人
绿里奇迹 8.7 97961人
惊魂记 8.8 74428人
达拉斯买家俱乐部 8.6 152991人
魔女宅急便 8.4 176480人
再次出发之纽约遇见你 8.5 149095人
爆裂鼓手 8.6 212622人
未麻的部屋 8.8 81726人
卡萨布兰卡 8.6 115202人
燕尾蝶 8.6 102340人
东京物语 9.2 45441人
牯岭街少年杀人事件 8.7 94098人
这个男人来自地球 8.5 161029人
变脸 8.4 199136人
英国病人 8.4 164077人
被解救的姜戈 8.5 240489人
末路狂花 8.7 94801人
终结者2：审判日 8.5 130046人
正在抓取第8页……
E.T. 外星人 8.5 140618人
叫我第一名 8.6 100803人
忠犬八公物语 9.0 49926人
哪吒闹海 8.8 71973人
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 215062人
黄金三镖客 9.1 46238人
黑客帝国3：矩阵革命 8.5 141111人
新龙门客栈 8.4 167034人
非常嫌疑犯 8.6 106123人
美国丽人 8.4 170163人
城市之光 9.2 38415人
上帝也疯狂 8.6 89002人
无耻混蛋 8.4 205963人
初恋这件小事 8.2 421335人
勇士 8.9 80661人
爱·回家 9.0 43661人
蓝色大门 8.2 256607人
曾经 8.3 190832人
无敌破坏王 8.6 171185人
麦兜故事 8.5 118569人
暖暖内含光 8.4 133623人
大卫·戈尔的一生 8.7 78897人
正在抓取第9页……
蝴蝶 8.6 90229人
模仿游戏 8.5 228585人
血钻 8.5 117306人
国王的演讲 8.3 311857人
与狼共舞 8.9 52670人
遗愿清单 8.5 114164人
巴黎淘气帮 8.6 98714人
荒岛余生 8.4 120698人
偷拐抢骗 8.5 107235人
夜访吸血鬼 8.3 183949人
疯狂的石头 8.2 281233人
枪火 8.6 88708人
千钧一发 8.7 74720人
爱在午夜降临前 8.7 102760人
爱在暹罗 8.3 207990人
中央车站 8.7 71641人
月球 8.5 130528人
寿司之神 8.8 74039人
我爱你 9.0 49781人
两小无猜 8.1 300317人
罪恶之城 8.4 131576人
廊桥遗梦 8.5 89437人
假如爱有天意 8.2 214079人
彗星来的那一夜 8.3 146049人
黑鹰坠落 8.5 99899人
爬虫结束,总共耗时: 1.8951084s
Process finished with exit code 0
三、爬虫源代码
package main
import (
"fmt"
"io/ioutil"
"net/http"
"regexp"
"time"
"os"
"strconv"
)
//定义新的数据类型
type Spider struct {
url string
header map[string]string
}
//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
client := &http.Client{}
req, err := http.NewRequest("GET", keyword.url, nil)
if err != nil {
}
for key, value := range keyword.header {
req.Header.Add(key, value)
}
resp, err := client.Do(req)
if err != nil {
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
}
return string(body)
}
func parse() {
header := map[string]string{
"Host": "movie.douban.com",
"Connection": "keep-alive",
"Cache-Control": "max-age=0",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Referer": "https://movie.douban.com/top250",
}
//创建excel文件
f, err := os.Create("C:/haha3.xlsx")
if err != nil {
panic(err)
}
defer f.Close()
//写入标题
f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")
//循环每页解析并把结果写入excel
for i:=0;i<10;i++{
fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
spider := &Spider{url, header}
html := spider.get_html_header()
//评价人数
pattern2:=`<span>(.*?)评价</span>`
rp2 := regexp.MustCompile(pattern2)
find_txt2 := rp2.FindAllStringSubmatch(html,-1)
//评分
pattern3:=`property="v:average">(.*?)</span>`
rp3 := regexp.MustCompile(pattern3)
find_txt3 := rp3.FindAllStringSubmatch(html,-1)
//电影名称
pattern4:=`img alt="(.*?)" src=`
rp4 := regexp.MustCompile(pattern4)
find_txt4 := rp4.FindAllStringSubmatch(html,-1)
// 写入UTF-8 BOM
f.WriteString("\xEF\xBB\xBF")
// 打印全部数据和写入excel文件
for i:=0;i<len(find_txt2);i++{
fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")
}
}
}
func main() {
t1 := time.Now() // get current time
parse()
elapsed := time.Since(t1)
fmt.Println("爬虫结束,总共耗时: ", elapsed)
}
2114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
