java实现简单的网络爬虫（爬取电影天堂电影信息）

最新推荐文章于 2024-04-23 18:52:22 发布
最新推荐文章于 2024-04-23 18:52:22 发布
阅读量9.6k 收藏 15
点赞数 3
分类专栏： 网络爬虫 文章标签： java 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35488275/article/details/71082932
版权

在最开始，我们要在网上下载所用到的jar包，应为这只是一个简单的网络爬虫所以很多包里的内容没有用到。

下面几个包就可以了。并且要引入这些包。

主类Bigdata.java

import org.htmlparser.util.ParserException;

public class Bigdata {
	public static void main(String[] args) throws ParserException {
		String url = "http://www.dytt8.net";
		 System.out.println("开始爬取网页");
	  MyCrawler crawler = new MyCrawler(url);
	  crawler.crawling(new String[] { url },url);

这个雷氏负责下载成为文本文件的类：

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.lang.reflect.Method;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

public class DownLoadFile {//重命名
 /**
  * 根据 url 和网页类型生成需要保存的网页的文件名 去除掉 url 中非文件名字符
  */
 public String getFileNameByUrl(String url, String contentType) {
  // remove http://
  url = url.substring(7);
  // text/html类型
  if (contentType.indexOf("html") != -1) {//字符串中没有html
   url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".txt";//将正则表达式中的那些字符替换成—
   return url;
  }
  // 如application/pdf类型
  else {
   return url.replaceAll("[\\?/:*|<>\"]", "_") + "."
     + contentType.substring(contentType.lastIndexOf("/") + 1);
  }
 }

 /**
  * 保存网页字节数组到本地文件 filePath 为要保存的文件的相对地址
  */
 private void saveToLocal(byte[] data, String filePath,String url) {//保存
  try {
   DataOutputStream out = new DataOutputStream(new FileOutputStream(
     new File(filePath),true));
   out.writeBytes(url+" ");
   for (int i = 0; i < data.length; i++){
    out.write(data[i]);
    }
   out.writeBytes("\r\n");
   out.flush();
   out.close();
  } catch (IOException e) {
   e.printStackTrace();
  }
 }

 /* 下载 url 指向的网页 */
 public String downloadfile(String url,byte[] responseBody,String url1) {//下载
  String filePath = null;
  /* 1.生成 HttpClinet 对象并设置参数 */
  HttpClient httpClient = new HttpClient();
  // 设置 Http 连接超时 5s
  httpClient.getHttpConnectionManager().getParams()
    .setConnectionTimeout(2000);

  /* 2.生成 GetMethod 对象并设置参数 */
  GetMethod getMethod = new GetMethod(url);
  // 设置 get 请求超时 5s
  getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 2000);
  // 设置请求重试处理
  getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
    new DefaultHttpMethodRetryHandler());

  /* 3.执行 HTTP GET 请求 */
  try {
   int statusCode = httpClient.executeMethod(getMethod);
   // 判断访问的状态码
   if (statusCode != HttpStatus.SC_OK) {
    System.err.println("Method failed: "
      + getMethod.getStatusLine());
    filePath = null;
   }

   /* 4.处理 HTTP 响应内容 */
   // 根据网页 url 生成保存时的文件名
   
   filePath = "d:\\spider\\"+url1 +".txt";
     /*+ getFileNameByUrl(url,
       getMethod.getResponseHeader("Content-Type")
         .getValue());*/
   saveToLocal(responseBody, filePath,url);
  } catch (HttpException e) {
   // 发生致命的异常，可能是协议不对或者返回的内容有问题
   System.out.println("Please check your provided http address!");
   e.printStackTrace();
  } catch (IOException e) {
   // 发生网络异常
   e.printStackTrace();
  } finally {
   // 释放连接
   getMethod.releaseConnection();
  }
  return filePath;
 }
}
这个类是解析类工具类 


import java.awt.SystemColor;
import java.util.HashSet;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.Remark;
import org.htmlparser.Tag;
import org.htmlparser.Text;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.tags.ParagraphTag;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.NodeVisitor;

import testchartset.Testchartset;

public class HtmlParserTool {
 // 获取一个网站上的链接,filter 用来过滤链接
 public static Set<String> extracLinks(String url, LinkFilter filter,String url2) {

  Set<String> links = new HashSet<String>();
  try {
   Parser parser = new Parser(url);
   parser.setEncoding(Testchartset.dectedCode(url));
   //parser.setEncoding("gb2312");
   /*NodeFilter filtercode = new TagNameFilter("META");
   NodeFilter filtercode1 = new TagNameFilter("meta");
   OrFilter linkFilter1 = new OrFilter(filtercode, filtercode1);
   NodeList node = parser.extractAllNodesThatMatch(linkFilter1);
   Node matanode = (Node) node.elementAt(0);
   String code = matanode.getText();
   int start1 = code.indexOf("charset=");
   code = code.substring(start1);
   //int end1 = code.indexOf(" ");
   //if (end1 == -1)
      //end1 = code.indexOf(">");
     String encode = code.substring(8, code.length() - 1);
     System.out.println(encode);
   parser.setEncoding(encode);*/
   
   
   
   // 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接
   NodeFilter frameFilter = new NodeFilter() {
	public boolean accept(Node node) {
     if (node.getText().startsWith("frame src=")) {
    	 //System.out.println("true");
      return true;
     } else {
    	 //System.out.println("flase");
      return false;
     }
    }
   };
   // OrFilter 来设置过滤 <a> 标签，和 <frame> 标签
   OrFilter linkFilter = new OrFilter(new NodeClassFilter(
     LinkTag.class), frameFilter);
   // 得到所有经过过滤的标签
   NodeList list = parser.extractAllNodesThatMatch(linkFilter);
   for (int i = 0; i < list.size(); i++) {
    Node tag = list.elementAt(i);
    if (tag instanceof LinkTag)// <a> 标签
    {
    //System.out.println(tag.getText());
     LinkTag link = (LinkTag) tag;
     String linkUrl = link.getLink();// url
     if(linkUrl.startsWith(url2)){
    	 
     }
    	 else{
    	 if(linkUrl.startsWith("ftp")){
    		 linkUrl=null;
    	 }else{
    		 linkUrl = url2+linkUrl;
    		 }
     }
    //System.out.println(linkUrl);
    //System.out.println(linkUrl);
    //if (filter.accept(linkUrl))
    //System.out.println(linkUrl);
     if(linkUrl!=null) 
     links.add(linkUrl);
    } else// <frame> 标签
    {
     // 提取 frame 里 src 属性的链接如 <frame src="test.html"/>
     String frame = tag.getText();
     //System.out.println(frame);
     int start = frame.indexOf("src=");
     //System.out.println(start);
     frame = frame.substring(start);
     int end = frame.indexOf(" ");
     if (end == -1)
      end = frame.indexOf(">");
     String frameUrl = frame.substring(5, end - 1);
     if (filter.accept(frameUrl))
      links.add(frameUrl);
    }
   }
  } catch (ParserException e) {
   e.printStackTrace();
  }
  return links;
 }
 public static byte[] paerserhtml(String url, LinkFilter filter){
	 //byte[] content = null;
	 String context = null;
	   Parser parser;
	   Pattern p = Pattern.compile("\\s*|\t|\r|\n");
       
	try {
		parser = new Parser(url);
	   //parser.setEncoding("gb2312");
	   parser.setEncoding(Testchartset.dectedCode(url));
	  NodeFilter filter1 = new TagNameFilter ("title");
	  //NodeList nodes = parser.extractAllNodesThatMatch(filter1); 
	   NodeFilter filter2 = new TagNameFilter ("div");
       OrFilter linkFilter = new OrFilter(filter1, filter2);
       NodeList nodes = parser.extractAllNodesThatMatch(linkFilter);
	   if(nodes!=null) {
           for (int i = 0; i < nodes.size(); i++) {
               Node textnode = (Node) nodes.elementAt(i);
               String line = textnode.getText();
               //System.out.println(line);
               String text = textnode.toPlainTextString();
               //System.out.println(text);
                if(line.contains("Zoom")){
            	   //System.out.println(line.replaceAll(" ", "").replaceAll("\n", ""));
                	Matcher m = p.matcher(text);
                    String t = m.replaceAll("");
            	   context += t;
            	   context += "\n";
            	   }/*else{
            		   context += text;
            	   }*/
              
              // if(textnode.getText()
               //context += textnode.toPlainTextString();
               //context += textnode.getText();
           }
           //System.out.println(context);
	   }
	   /*NodeFilter filter2 = new TagNameFilter ("div");
	   NodeFilter filter3 = new TagNameFilter ("img");
	   OrFilter linkFilter = new OrFilter(filter3, filter2);
       NodeList nodes_context = parser.extractAllNodesThatMatch(linkFilter);
       if(nodes_context!=null) {
           for (int i = 0; i < nodes_context.size(); i++) {
               Node textnode_context = (Node) nodes_context.elementAt(i);
               context += textnode_context.toPlainTextString();
               context += textnode_context.getText();
               }
           }
       else{
    	   System.out.println("null");
    	   }*/

	} catch (ParserException e) {
		// TODO 自动生成的 catch 块
		e.printStackTrace();
	}finally{
	}
	if(context==null){
		context = "页面找不到了";
		return context.getBytes();
	}else{
public interface LinkFilter {  
    public boolean accept(String url);  
} 


return context.getBytes(); } } }




定义一个接口
public interface LinkFilter {  
    public boolean accept(String url);  
} 







队列类
import java.util.HashSet;
import java.util.PriorityQueue;
import java.util.Set;
import java.util.Queue;

public class LinkQueue {
 // 已访问的 url 集合
 private static Set visitedUrl = new HashSet();
 // 待访问的 url 集合
 private static Queue unVisitedUrl = new PriorityQueue();

 // 获得URL队列
 public static Queue getUnVisitedUrl() {
  return unVisitedUrl;
 }

 // 添加到访问过的URL队列中
 public static void addVisitedUrl(String url) {
  visitedUrl.add(url);
 }

 // 移除访问过的URL
 public static void removeVisitedUrl(String url) {
  visitedUrl.remove(url);
 }

 // 未访问的URL出队列
 public static Object unVisitedUrlDeQueue() {
  return unVisitedUrl.poll();
 }

 // 保证每个 url 只被访问一次
 public static void addUnvisitedUrl(String url) {
  if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)
    && !unVisitedUrl.contains(url))
   unVisitedUrl.add(url);
 }

 // 获得已经访问的URL数目
 public static int getVisitedUrlNum() {
  return visitedUrl.size();
 }

 // 判断未访问的URL队列中是否为空
 public static boolean unVisitedUrlsEmpty() {
  return unVisitedUrl.isEmpty();
 }

}








爬虫类
import java.util.Set;

import org.htmlparser.util.ParserException;

public class MyCrawler {
 /**
  * 使用种子初始化 URL 队列
  * 
  * @return
  * @param seeds
  *            种子URL
  */
private	String url1 = null;
 private void initCrawlerWithSeeds(String[] seeds) {
  for (int i = 0; i < seeds.length; i++)
   LinkQueue.addUnvisitedUrl(seeds[i]);
 }
 public MyCrawler(String url){//构造函数
	 this.url1 = url.replaceAll("[\\?/:*|<>\"]", "_");
 }
 /**
  * 抓取过程
  * 
  * @return
  * @param seeds
 * @throws ParserException 
  */
 public void crawling(String[] seeds,final String url2) throws ParserException { // 定义过滤器，提取以http://www.lietu.com开头的链接
  LinkFilter filter = new LinkFilter() {
   public boolean accept(String url) {
    if (url.startsWith(url2))
     return true;
    else
     return false;
   }
  };
  // 初始化 URL 队列
  initCrawlerWithSeeds(seeds);
  // 循环条件：待抓取的链接不空且抓取的网页不多于1000
  while (!LinkQueue.unVisitedUrlsEmpty()
    && LinkQueue.getVisitedUrlNum() <= 10000000) {
   // 队头URL出队列
   String visitUrl = (String) LinkQueue.unVisitedUrlDeQueue();
   byte[] context = HtmlParserTool.paerserhtml(visitUrl, filter);
   System.out.println(LinkQueue.getVisitedUrlNum());
   if (visitUrl == null)
    continue;
   DownLoadFile downLoader = new DownLoadFile();
   // 下载网页
   
   //System.out.println(context.toString());
   downLoader.downloadfile(visitUrl,context,url1);
   // 该 url 放入到已访问的 URL 中
   LinkQueue.addVisitedUrl(visitUrl);
   // 提取出下载网页中的 URL
   Set<String> links = HtmlParserTool.extracLinks(visitUrl, filter,url2);
   // 新的未访问的 URL 入队
   for (String link : links) {
    LinkQueue.addUnvisitedUrl(link);
   }
  }
 }
}








下面这个类有点特殊也有不完善的地方，是一个解析网页编码的类获得网页到底是什么编码的，然后在告诉下载器解析器以什么编码解析下载中文。
应为电影天堂网站所有网页都是gb2312编码的所以我就为了成功率注释掉了代码改为只返回gb2312编码。以后改好了是可以适应任何一种编码的。
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.BodyTag;
import org.htmlparser.tags.Html;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;

public class Testchartset{
private static final String oriEncode = "UTF-8,utf-8,gb2312,gbk,iso-8859-1";

public static void main(String [] args){


String url="http://www.dytt8.net/";
String decode=dectedCode(url);
System.out.println(decode);

}
/**
     * 检测字符级
     * @param url
     * @return
     */
    /*public static String dectedEncode(String url) {
        String[] encodes = oriEncode.split(",");
        for (int i = 0; i < encodes.length; i++) {
            if (dectedCode(url, encodes[i])) {
                return encodes[i];
            }
        }
        return null;
    }*/

    public static String dectedCode(String url) {
        /*try {
            Parser parser = new Parser(url);
            //parser.setEncoding(encode);
            NodeFilter filtercode = new TagNameFilter("META");
     	   NodeFilter filtercode1 = new TagNameFilter("meta");
     	   OrFilter linkFilter = new OrFilter(filtercode, filtercode1);
     	   NodeList node = parser.extractAllNodesThatMatch(linkFilter);
     	   Node matanode = (Node) node.elementAt(0);
     	   String code = matanode.getText();
     	   //System.out.println(code);
     	   int start = code.indexOf("charset=");
     	   code = code.substring(start);
     	   //System.out.println(code);
     	   int end = code.indexOf(" ");
     	   //System.out.println(end);
     	   if(end==-1){
     		   end=code.length();
     	   }
     	   String encode1 = code.substring(8, end-1);
     	   String encode2 = code.substring(9,end-1);
     	   //System.out.println(encode1+"chkc"+encode2);
     	  String[] encodes = oriEncode.split(",");
     	   if(encode1.equals(encodes[0])||encode2.equals(encodes[0])||encode1.equals(encodes[1])||encode2.equals(encodes[1]))
                    return "utf-8";
     	   if(encode1.equals(encodes[2])||encode2.equals(encodes[2]))
     		   return "gb2312";
     	  if(encode1.equals(encodes[3])||encode2.equals(encodes[3]))
    		   return "gbk";
     	 if(encode1.equals(encodes[4])||encode2.equals(encodes[4]))
   		   return "iso-8859-1";
        } catch (Exception e) {
        	
        }*/

        return "gb2312";
    }
}








经过爬取了上万个页面这个程序停了下来


可以看到爬下来的内容我都是以网址开头空格之后就是电影的各项内容。这样爬取页面也是为了在hadoop中做数据分析。我的确做了一个数据分析电影明星哪一个成就最高，
但是因为数据集的原因结果不是很理想。在之后的博客中我可能会把分析步骤发出来。





                

        

        

    




    

      

        

            

              
                
                  qq_35488275
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    15
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
c语言版的XML parser

				
			

			

				

					06-04
				

			

		

		

			
				
c语言版的xml parser ----------ExpatXML

			
		

	



                

              
                



	

		

			

				
					
爬虫学习（一）---爬取电影天堂下载链接

				
			

			

				

					程序员学编程 的专栏
				

				

					10-12
					
					1万+
					
				

			

		

		

			
				
主要利用了python3.5   requests，BeautifulSoup，eventlet三个库来实现。1、解析单个电影的详细页面 
例如这个网址：http://www.dy2018.com/i/98477.html。要获取这个电影的影片名和下载地址。我们先打开这个网页来分析下这个这个网页的源代码。包含影片名字的字段：<div class="title_all"><h1>2017年欧美7.0分

			
		

	



                


  
              

                


	

		

			

				
					
Python爬虫——scrapy_电影天堂多页下载

				
			

			

				

					错过人间飞鸿的博客
				

				

					08-18
					
					32
					
				

			

		

		

			
				
scrapy_电影天堂多页下载

			
		

	





	

		

			

				
					
使用WebMagic库编写的Java爬虫程序抖音的内容

				
			

			

				

					w15189597283的博客
				

				

					01-25
					
					395
					
				

			

		

		

			
				
程序中首先创建了一个Spider对象，并设置了代理服务器信息，然后设置了一些爬虫的下载和超时时间。接着创建了一个Pipeline对象，并设置了一个PageProcessor，该处理器将网页内容处理后输出。然后将Spider和Pipeline对象关联起来，并设置要爬取的网页URL。注意：在使用代理服务器时，需要确保代理服务器能够正常工作，并且不受任何防护措施的影响。此外，爬虫行为可能会对目标网站造成影响，所以在进行爬虫活动时，需要遵守相关法律法规和道德规范。

			
		

	



		

			
		



	

		

			

				
					
Python爬取电影天堂最新发布电影下载地址

				
			

			

				

					BlueShaw的专栏
				

				

					02-01
					
					4558
					
				

			

		

		

			
				
1. 第三方库
爬虫基本都会用到的第三方库：

requests，优雅而简单的HTTP库，主要作用是模仿浏览器请求，获取爬取页面的HTML文件，给BeautifulSoup4用。
BeautifulSoup4,可以从HTML或XML文件中提取数据，可以快速上手使用。

2. 网页分析
我的理解，爬虫一定是根据爬取网页的HTML编写代码，分析你要爬取的内容在HTML的哪个标签中，这个标签跟其他标签有...

			
		

	





	

		

			

				
					
scrapy框架常用从头到尾巴

				
			

			

				

					weixin_45410801的博客
				

				

					09-05
					
					477
					
				

			

		

		

			
				
总结scrapy框架
一.  核心组件和中间件
引擎 engine  自动运行，无需关祖，会自动组织所有的请求对象，分发给下载器
下载器 downloader 从引擎处获取到请求对象后，请求数据
爬虫 spiders
	scrapy.Spider 普通的爬虫
	scrapy.CrawSpider 可设置规则的爬虫类
	Rule规则类
	start_requests()开始函数
调度器 scheduler
管道 Item pipeline 
	清理HTML数据
	验证爬去的数据(检查item包含某些字段)
	

			
		

	





	

		

			

				
					
python爬虫--爬取某网站电影下载地址

				
			

			

				

					weixin_30655219的博客
				

				

					03-04
					
					4611
					
				

			

		

		

			
				
前言：因为自己还是python世界的一名小学生，还有很多路要走，所以本文以目的为向导，达到目的即可，对于那些我自己都没弄懂的原理，不做去做过多解释，以免误人子弟，大家可以网上搜索。
友情提示：本代码用到的网址仅供交流学习使用，如有不妥，请联系删除。
背景：自己有台电脑要给老爸用，老爷子喜欢看一些大片，但是家里网络环境不好，就想批量下载一些存到电脑里。但是目前大部分的网站都是这样的，

需要...

			
		

	





	

		

			

				
					
台湾 天堂java 论坛_tiantangsifu_Rev1388jar_1386db java编写天堂私服*系统 - 下载 - 搜珍网...

				
			

			

				

					weixin_39636226的博客
				

				

					02-27
					
					4353
					
				

			

		

		

			
				
l1jserver.jarconfig/altsettings.propertiesconfig/charsettings.propertiesconfig/log.propertiesconfig/rates.propertiesconfig/server.propertiesdata/announcements.txtdata/badnames.txtdata/idstate.datdb/13...

			
		

	





	

		

			

				
					
java天堂,认识Java

				
			

			

				

					weixin_42131601的博客
				

				

					03-21
					
					2556
					
				

			

		

		

			
				
一、基本术语简介JVM：(Java Vritual Machine )Java 虚拟机，它也是整个 Java 技术的核心。Java 语言的跨平台就多亏了 JVM。JDK: (Java Development Kit Java) 开发工具包，没有 JDK 就没有办法进行 Java 程序的开发。JRE:(Java Runtime Environment)Java运行环境，如果我们需要运行一个J...

			
		

	





	

		

			

				
					
java源码解析JavaParser

					
热门推荐

				
			

			

				

					shijiaolong0的博客
				

				

					08-26
					
					23万+
					
				

			

		

		

			
				
package com.bootdo.jparser;

import java.io.File; 
import java.io.FileNotFoundException;

import com.github.javaparser.JavaParser;
import com.github.javaparser.ast.CompilationUnit;

public class Jpars...

			
		

	





	

		

			

				
					
java知识天堂_Java基础之：泛型

				
			

			

				

					weixin_34226447的博客
				

				

					02-16
					
					389
					
				

			

		

		

			
				
Java基础之：泛型在不使用泛型的情况下，在ArrayList 中，添加3个Dog。Dog对象含有name 和 age, 并输出name 和 age (要求使用getXxx())。package class_Generic;import java.util.ArrayList;​public class ClassTest01 {​ @SuppressWarnings({ "rawtypes", ...

			
		

	





	

		

			

				
					
使用Python多线程爬虫爬取电影天堂资源

				
			

			

				

					09-21
				

			

		

		

			
				
主要介绍了使用Python多线程爬虫爬取电影天堂资源 的相关资料,需要的朋友可以参考下

			
		

	





	

		

			

				
					
python多线程爬虫爬取电影天堂资源

				
			

			

				

					03-15
				

			

		

		

			
				
该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型、评分、下载链接等。采用多线程设计可以显著提高爬虫的爬取效率。  2. 核心功能: - 解析电影天堂网站HTML...

			
		

	





	

		

			

				
					
爬虫demo——爬取电影天堂的电影数据

				
			

			

				

					09-27
				

			

		

		

			
				
电影天堂里面的数据还是非常丰富的，这次的爬虫demo，是对电影天堂中的电影数据进行爬取，包括电影片名，导演，主演，演员等信息以及最后的迅雷下载地址。 经过4000部电影的爬取测试，我对代码多次进行优化，目前...

			
		

	





	

		

			

				
					
python多线程爬虫爬取电影天堂资源.zip

				
			

			

				

					12-28
				

			

		

		

			
				
解锁网络数据的宝藏：Python爬虫工具与教程集合  一、探索网络信息的无限宝藏  在互联网的海洋中，蕴藏着海量的有价值信息。如何合法、高效地获取这些信息？Python爬虫工具与教程为您揭开这一神秘面纱。通过这些资源...

			
		

	





	

		

			

				
					
人工智能-项目实践-多线程-python多线程爬虫爬取电影天堂资源.zip

				
			

			

				

					01-04
				

			

		

		

			
				
python多线程爬虫爬取电影天堂资源  python多线程爬虫爬取电影天堂资源

			
		

	





	

		

			

				
					
mybatisPlus使用MetaObjectHandler对字段进行更新

					
最新发布

				
			

			

				

					m0_56356631的博客
				

				

					04-23
					
					39
					
				

			

		

		

			
				
都是符合我们的预期的。

			
		

	





	

		

			

				
					
string模拟实现

				
			

			

				

					m0_73969414的博客
				

				

					04-23
					
					743
					
				

			

		

		

			
				
c++中string的模拟实现，面试必会知识点

			
		

	





	

		

			

				
					
实现自定义注解、实现自定义幂等性注解

				
			

			

				

					qq_44721738的博客
				

				

					04-23
					
					96
					
				

			

		

		

			
				
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。

			
		

	





	

		

			

				
					
python爬虫爬取电影信息

				
			

			

				

					07-29
				

			

		

		

			
				
- *1* [python爬虫实现爬取电影信息](https://blog.csdn.net/fei347795790/article/details/92621874)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值