需求:爬取电影名,评分,主演
捉妖记2 梁朝伟 白百何 9.3分
喵星人 古天乐 马丽 9.0分
祖宗十九代 岳云鹏 吴京 8.9分
奇门遁甲 大鹏 倪妮 9.0分
勇敢者游戏:决战丛林 道恩・强森 凯文・哈特 9.3分
首先对网页链接分析,第一页:https://dianying.2345.com/list/——-.html,第二页:https://dianying.2345.com/list/——-2.html。组成为https://dianying.2345.com/list/ +——-+页号.html。
再分析爬取内容:
分析网页格式可以看出要爬取的内容都在’v_picConBox mt15’这个div中
电影名
这里要注意一个爬取小坑的问题。2345电影网在每页电影大全中,穿插了广告(坑B网)。所以要特别注意下,不能去爬广告,因为电影和广告的html是不一样的。