爬虫爬取豆瓣电影资讯

最新推荐文章于 2021-10-04 17:41:09 发布
最新推荐文章于 2021-10-04 17:41:09 发布
阅读量455 收藏
点赞数
分类专栏： 题目整理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwerqwee12/article/details/84999960
版权

爬取网址：

https://movie.douban.com/cinema/nowplaying/yantai/

网页的基本信息从网页源代码可以看出来，用正则表达式爬的，不过因为是初学，所以用的比较烂，代码也比较low，贴出来当个笔记以后没事翻出来看看。

import java.util.*;
import java.net.URL;
import java.util.regex.*;
import java.io.*;
import java.lang.*;
public class WebCrawler {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Scanner input=new Scanner(System.in);
		System.out.println("豆瓣电影在线购票&影讯");
		String url="https://movie.douban.com/cinema/nowplaying/yantai/";
		crawler(url);
	}  
	public static void crawler(String startingURL)
	{
		ArrayList<String> listOfPendingURLs=new ArrayList<>();
		ArrayList<String> listOfTraversedURLs=new ArrayList<>();
		listOfPendingURLs.add(startingURL);
		while(!listOfPendingURLs.isEmpty()&&listOfTraversedURLs.size()<=100)
		{
			String urlString=listOfPendingURLs.remove(0);
			if(!listOfTraversedURLs.contains(urlString))
			{
				listOfTraversedURLs.add(urlString);
				System.out.println("Crawl "+urlString);
				for(String s:getSubURLs(urlString))
				{
					try {
						if(!listOfTraversedURLs.contains(s))
							listOfPendingURLs.add(s);
						Thread.sleep(1600);
					}
					catch(Exception ex)
					{
						System.out.println("Error: "+ex.getMessage());
					}
				}
			}
		}
	}
	public static ArrayList<String> getSubURLs(String urlString)
	{
		ArrayList<String> list=new ArrayList<>();
		try {
			URL url=new URL(urlString);
			Scanner input=new Scanner(url.openStream());
			int current=0;
			while(input.hasNext())
			{
				String line=input.nextLine();
				current=line.indexOf("https://movie.douban.com/subject",current);//爬网址
				while(current>0)
				{
					int endIndex=line.indexOf("playing_poster",current);//爬网址
					if(endIndex>0)
					{
						list.add(line.substring(current, endIndex));
						current=line.indexOf("http:", endIndex);
					}
					else
						current=-1;
				}
			}
			try {
				Thread.sleep(1600);
				getinformation g=new getinformation(urlString);
				g.GetIf();
			}
			catch(Exception ex)
			{
				System.out.println("Error: "+ex.getMessage());
			}
		}
		catch(Exception ex)
		{
			System.out.println("Error: "+ex.getMessage());
		}
		return list;
	}
}

class getinformation//获取电影信息
{
	private
	String urlString;
	final String title="(data-title=\".*\")";//匹配电影标题的正则表达式
	final String comment="(<span class=\"short\">[\\s\\S.]*)";
	final String genre="\"v:genre\">[\u4E00-\u9FA5]+";
	final String user=" <a href=\"https://www.douban.com/people/.*/\" class=\"\">.*</a>";
	final String shortnum="<a href=\"https://movie.douban.com/subject/.*/comments\\?status=P\">.*<";
	String temp2="0";//每个评论之前显示的标题
	getratingValue grv;
	getStaff gsf;
	public
	getinformation(String u)
	{
		urlString=u;
	}
	void GetIf()
	{
		try(
				BufferedWriter output = new BufferedWriter(new FileWriter("E:\\temp.txt",true));
		)
		{
			URL url=new URL(urlString);
			Scanner input=new Scanner(url.openStream());
			//getratingValue(urlString);//获取评分等相关信息
		//	getStaff(urlString);
			Pattern titleP=Pattern.compile(title);
			Pattern genreP=Pattern.compile(genre);
			Pattern userP=Pattern.compile(user);
			Pattern shortnumP=Pattern.compile(shortnum);
			Pattern commentP=Pattern.compile(comment);
			while(input.hasNext())
			{
				String line=input.nextLine();
				Matcher titleM=titleP.matcher(line);
				Matcher shortnumM=shortnumP.matcher(line);
				Matcher commentM=commentP.matcher(line);
				Matcher genreM=genreP.matcher(line);
				Matcher userM=userP.matcher(line);
				if(titleM.find())
				{
					String temp=titleM.group(1);
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='《'||temp.charAt(i)=='\"')
						{
							temp2=temp.substring(i+1,temp.length()-1);
							break;
						}
					System.out.println(temp2);//匹配电影标题
					output.write(temp2+"\r\n");
					output.flush();
				}
				if(shortnumM.find())
				{
					String temp=shortnumM.group(0),temp1="0";
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='>')
							temp1=temp.substring(i+1,temp.length()-4);
					System.out.println("短评数量: "+temp1+"条");
					output.write("短评数量: "+temp1+"条"+"\r\n");
					output.flush();
				}
				if(userM.find())
				{
					String temp=userM.group(0),temp1="0";
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='>')
						{
							temp1=temp.substring(i,temp.length()-4);
							break;
						}	
					System.out.print(temp2+"用户： "+temp1);//匹配评论
					output.write(temp2+"用户： "+temp1);
					output.flush();
				}
				if(commentM.find())
				{
					String temp=commentM.group(1),temp1="0";
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='>')
						{
							temp1=temp.substring(i,temp.length()-7);
							break;
						}	
					System.out.println(" "+"---短评: "+temp1);//匹配评论
					output.write(" "+"---短评: "+temp1+"\r\n");
					output.flush();
				}
				if(genreM.find())
				{
					System.out.print("类型: ");
					output.write("类型: ");
					output.flush();
				}
				while(genreM.find())
				{
					String temp=genreM.group(0),temp1="0";
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='>')
						{
							temp1=temp.substring(i+1,temp.length());
							break;
						}
					System.out.print(temp1+'/'+" ");
					output.write(temp1+'/'+" ");
					output.flush();
				}
			}	
			try {
				Thread.sleep(1600);
				grv=new getratingValue(urlString);
				grv.GetRV();
			}
			catch(Exception ex)
			{
				System.out.println("Error: "+ex.getMessage());
			}
			System.out.println(temp2+"演员及导演");
			output.write(temp2+"演员及导演"+"\r\n");
			output.flush();
			try {
				Thread.sleep(1600);
				gsf=new getStaff(urlString);
				gsf.GetS();
			}
			catch(Exception ex)
			{
				System.out.println("Error: "+ex.getMessage());
			}
			//output.close();
		}
		catch(Exception ex)
		{
			System.out.println("Error: "+ex.getMessage());
		}
	}
}

class getratingValue//获取电影评分以及上映日期
{
	private
	String urlString;
	final String votes="\"v:votes\">\\d+";
	final String ratingValue="\"ratingValue\":.*";
	final String releasedate="content=\".*\\(中国大陆\\)\"";
	String rd="0",V="0";
	public
	getratingValue(String u)
	{
		urlString = u;
	}
	void GetRV()
	{
		try(
				BufferedWriter output = new BufferedWriter(new FileWriter("E:\\temp.txt",true));
		) 
		{
			URL url=new URL(urlString);
			Scanner input=new Scanner(url.openStream());
			Pattern releasedateP=Pattern.compile(releasedate);
			Pattern votesP=Pattern.compile(votes);
			Pattern ratingValueP=Pattern.compile(ratingValue);
			while(input.hasNext())
			{
				String line=input.nextLine();
				Matcher votesM=votesP.matcher(line);
				Matcher releasedateM=releasedateP.matcher(line);
				Matcher ratingValueM=ratingValueP.matcher(line);
				if(votesM.find())
				{
					String temp=votesM.group(0);
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='>')
						{
							V=temp.substring(i+1,temp.length()-1);
							break;
						}
					System.out.println("评分人数: "+V+" ");
					output.write("评分人数: "+V+" "+"\r\n");
					output.flush();
				}
				if(ratingValueM.find())
				{
					System.out.print(ratingValueM.group(0));
					output.write(ratingValueM.group(0));
					output.flush();
				}
				if(releasedateM.find())
				{
					String temp=releasedateM.group(0);
					for(int i=0;i<temp.length();i++)
						if(temp.charAt(i)=='\"')
						{
							rd=temp.substring(i+1,temp.length()-1);
							break;
						}
						System.out.print("上映日期: "+rd);
						output.write("上映日期: "+rd);
						output.flush();
				}
			}
			//output.close();
		}
		catch(Exception ex)
		{
			System.out.println("Error: "+ex.getMessage());
		}
	}
}

class getStaff//获取电影人员
{
	private
	String urlString;
	final String actor="\"v:starring\">.*<";
	final String direct="\"v:directedBy\">.*<";
	public
	getStaff(String u)
	{
		urlString=u;
	}
	void GetS() 
	{
		try(
				BufferedWriter output = new BufferedWriter(new FileWriter("E:\\temp.txt",true));
			)
		{
			URL url=new URL(urlString);
			Scanner input=new Scanner(url.openStream());
			Pattern actorP=Pattern.compile(actor);
			Pattern directP=Pattern.compile(direct);
			while(input.hasNext())
			{
				String line=input.nextLine();
				Matcher actorM=actorP.matcher(line);
				Matcher directM=directP.matcher(line);
				if(actorM.find())
				{
					final String name="[\\u4e00-\\u9fa5|'·']+";
					String temp=actorM.group(0);
					Pattern nameP=Pattern.compile(name);
					Matcher nameM=nameP.matcher(temp);
					while(nameM.find())
					{
						System.out.println("主演: "+nameM.group(0));	
						output.write("主演: "+nameM.group(0)+"\r\n");
						output.flush();
					}
				}
				if(directM.find())
				{
					final String name="[\\u4e00-\\u9fa5|'·']+";
					String temp=directM.group(0);
					Pattern nameP=Pattern.compile(name);
					Matcher nameM=nameP.matcher(temp);
					while(nameM.find())
					{
						System.out.println("导演: "+nameM.group(0));	
						output.write("导演: "+nameM.group(0)+"\r\n");
						output.flush();
					}
				}
			}
			//output.close();
		}
		catch(Exception ex)
		{
			System.out.println("Error: "+ex.getMessage());
		}
	}
}

怕被豆瓣封，所以降低了一下爬虫的速率，所以爬的比较慢。

效果图：

抓取的评论，演员导演，题目和上映日期等信息，之后存到文件中。

BufferedWriter output = new BufferedWriter(new FileWriter("E:\\temp.txt",true));

output.write（）和output.flush（），如果没有output.flush可能写文件的时候和控制台输出的顺序不一样。

顺便贴出来正则表达式的学习网站：www.runoob.com/java/java-regular-expressions.html

                                                          http://www.runoob.com/regexp/regexp-syntax.html

 

 

allllj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
豆瓣电影(一)：网络爬虫
weixin_45032666的博客
09-01 2543
夏日炎炎，屋外三十多度的烈日温度，着实一点出门的欲望都无了，小编还是窝在宿舍里当个“肥宅”吧。豆瓣爬虫属于动静结合的数据类型，即列表页动态、详情页静态。对豆瓣高分电影信息进行详细爬取，并存入Excel表格，后续再对数据进行数据分析，简单可视化展示。 操作环境： Windows10、Python3.6、Pycharm、谷歌浏览器 目标网址： https://movie.douban.com/ （豆瓣电影） 相关文章： 拉钩爬虫、腾讯招聘爬虫、新笔趣阁爬虫、链家网爬虫 目录一、分析网页1.1、ajax加载.
python爬虫-电影数据抓取
热门推荐
weixin_54824895的博客
06-13 1万+
1、进入此次爬取的页面点这里。2、按F12—> network3、ctrl+r 刷新 如图搜索一个电影名，找到数据位置，然后查看4、找到请求的url ‘？’后边的是参数，不要带上5、参数单独拿出来start：0 代表的是排行榜的第一部电影limit：20 代表的是一次返回20条数据（20部电影）start和limit都可以更改6、大致先看一看拿到的数据类型，然后解析，从其中拿到自己想要的数据 7、开始编写代码： 运行代码，查看结果： 拿到的的确是两条数据，然后从其中选择自己想要的数据出来，进行可视
python-关于爬虫爬取豆瓣电影网址
Ch_zhenhua的博客
08-24 722
import json import requests # 爬取豆瓣电影网址 class Douban(object):     def __init__(self):         self.url = 'https://movie.douban.com/j/search_subjects?type=movie&amp;tag=%E6%AC%A7%E7%BE%8E&amp;sort=reco...
爬取豆瓣电影网页首页有关信息
DEKEWF的博客
06-02 895
​今天是开始接触爬虫的第一次实战，选择爬取了豆瓣电影网站的有关信息 选择urllib，urllib.request，parse,ssl等模块 import urllib import urllib import urllib.request import urllib.parse import ssl （有的网站需要证书，注意如果使用ssl这里上面我们就不能使用requests模块，所以选择使用urllib.request） ssl._create_default_https_context = ssl.
python错误解决： ERROR: Spider error processing
qq_37064763的博客
10-04 7673
python错误解决： ERROR: Spider error processing 背景 需求：使用scrapy爬取某网站数据（包括商品图片、图书名字和价格） 问题 在创建项目后，创建spider文件并编写代码后发现ERROR: Spider error processing 解决方案： 将item.py文件中定义的属性一一对应 在这里插入图片描述 ...
用爬虫爬取豆瓣电影TOP250，并用PythonTkinter实现GUI展示与电影信息检索
06-23
在本项目中，我们将探讨如何使用Python爬虫技术获取豆瓣电影Top250的数据，并结合Tkinter库构建一个图形用户界面（GUI）来展示和检索这些电影信息。首先，让我们详细了解一下每个步骤。 1. **爬虫技术**： 爬虫是...
爬虫爬取豆瓣电影TOP250源代码
06-04
本项目关注的是爬取豆瓣电影TOP250的数据，这是一个非常实用的示例，因为豆瓣电影TOP250列出了最受欢迎和评分最高的电影，对于电影爱好者和研究人员来说具有很高价值。 首先，我们需要安装必要的Python库来实现这个...
python爬虫爬取豆瓣电影评论
11-15
这个 Python 程序演示了如何使用网络爬虫技术获取豆瓣电影的评论。通过这个程序，你可以收集用户对特定电影的观点和评价。 选择电影： 输入你感兴趣的电影的豆瓣 ID。 发起请求： 使用 requests 库发起 HTTP 请求，...
Python爬虫爬取豆瓣电影实例
03-27
实现对豆瓣电影网站的所有电影爬取的爬虫实例，
利用python爬虫爬取豆瓣电影信息
01-15
本文介绍如何使用 Python 编写爬虫程序，从豆瓣网站上爬取电影信息。通过 Python 的 requests 库发送网络请求，利用 Beautiful Soup 解析网页结构，从而获取电影的标题、导演、主演、评分等信息，并将其保存至本地...
[Java] 网络爬虫(Web Crawler)
学习笔记
06-24 1186
[1] Introduction to Java Programming chapter 12.13
scrapy爬取豆瓣电影列表
风雨雾凇的博客
01-15 3989
目标环境：python 3.6 scrapy 1.5.0准备：安装scrapy ，参考：http://blog.csdn.net/yctjin/article/details/70658811 检查是否安装成功 ，在命令行输入：scrapy -version 如图所示则安装成功~开始新建项目在准备好的文件夹打开命令行，分别输入 scrapy startproject doubanMovi
python爬取豆瓣影评理论依据_Python 豆瓣影评抓取
weixin_32049085的博客
02-21 288
# encoding=utf8importurllib2request=urllib2.Request("https://movie.douban.com/nowplaying/hangzhou/")response=urllib2.urlopen(request)html_data = response.read().decode('utf-8')#print html_data#获取上映的电影...
爬虫入门-4-3.爬取豆瓣电影
weixin_30794499的博客
03-10 155
1 import requests 2 3 url = "https://movie.douban.com/cinema/nowplaying/changsha/" 4 proxy = { 5 'HTTP': '116.209.53.143:9999' 6 } 7 headers = { 8 'User-Agent': 'Mozilla/5....
基于爬虫的电影网站系统
hi_bigguy的博客
06-23 5539
1. 电影系统 页面: 首页：localhost druid首页：http://localhost/druid/index.html 后台首页：localhost:/admin 缺点： 系统没有做成微服务式， 前台后台耦合，都是在同一个系统中 Service 没有接口，都是直接的 Service 类 改进： 用dubbo做成微服务 将公共的接口文件，通用类抽取出来作为子模块，...
[源码和文档分享]python数据分析（3）——数据特征分析（下）
qq_38474647的博客
01-03 149
1. 周期性分析 周期性分析是探索某个变量是否随这时间的变化而呈现出某种周期变化趋势。 时间尺度较长的有年度性、季节性；较短的有月度、周度性；甚至更短的天、小时。 2. 贡献度（帕累托）分析 20/80定律，同样的投入放在不同的地方会产生不同的效益。 例如对于一个公司，80%的利润常常来源于20%的产品，其余...
Crypto_30_vHsm_Types.h
07-09
Crypto_30_vHsm_Types
vmware虚拟机安装教程.pdf
最新发布
07-10
VMware虚拟机安装教程是一个详细且系统的过程，涵盖了从下载、安装到配置虚拟机的多个步骤。以下是一个详尽的VMware虚拟机安装教程，旨在帮助用户顺利搭建自己的虚拟环境。
11111111111
07-10
11111111111
爬虫爬取豆瓣电影排行
12-19
以下是爬虫爬取豆瓣电影排行的步骤： 1. 导入requests和BeautifulSoup库 ```python import requests from bs4 import BeautifulSoup ``` 2. 发送请求并获取HTML页面 ```python url = '...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值