这是一个将指定URL地址的网页 抓取为本地网页的代码。

这是一个将指定URL地址的网页 抓取为本地网页的代码:
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;

//CL:得到的是指定URL的HTML文件

 public class GetUrlToHtml {
     public static void main(String[] args) {
         InputStream in = null;   
         OutputStream out = null;              
         try {
             // 检查命令行参数
             if ((args.length != 1)&& (args.length != 2)) 
                 throw new IllegalArgumentException("Wrong number of args");
      
            
             URL url = new URL(args[0]);   //创建 URL
             in = url.openStream();        // 打开到这个URL的流
             if (args.length == 2)         // 创建一个适当的输出流
                 out = new FileOutputStream(args[1]);
             else out = System.out;                       // 复制字节到输出流
             byte[] buffer = new byte[4096];
             int bytes_read;
             while((bytes_read = in.read(buffer)) != -1)
                 out.write(buffer, 0, bytes_read);
 }
       
         catch (Exception e) {
             System.err.println(e);
             System.err.println("Usage: java GetURL <URL> [<filename>]");
         }
         finally { //无论如何都要关闭流
             try { in.close(); out.close(); } catch (Exception e) {}
         }
     }
 }

 


 


 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是一个简单的Python爬虫代码示例,可以根据指定的网址获取网页内容并保存到本地: ```python import requests url = 'https://www.example.com' # 指定抓取的网址 response = requests.get(url) # 发送请求 if response.status_code == 200: # 判断请求是否成功 with open('example.html', 'wb') as f: f.write(response.content) # 将抓取的内容保存到本地 ``` 以下是另一个Python爬虫代码示例,可以从网页中抽取正文内容并过滤掉HTML标签: ```python import requests from bs4 import BeautifulSoup url = 'https://www.example.com' # 指定抓取的网址 response = requests.get(url) # 发送请求 if response.status_code == 200: # 判断请求是否成功 soup = BeautifulSoup(response.text, 'html.parser') # 将网页内容转换为BeautifulSoup对象 content = soup.get_text() # 获取网页正文内容 with open('example.txt', 'w', encoding='utf-8') as f: f.write(content) # 将正文内容保存到本地 ``` 对于动态网页抓取,可以使用Selenium库模拟浏览器行为,以下是一个简单的示例代码: ```python from selenium import webdriver url = 'https://www.example.com' # 指定抓取的网址 driver = webdriver.Chrome() # 创建Chrome浏览器对象 driver.get(url) # 打开网页 content = driver.page_source # 获取网页代码 with open('example.html', 'w', encoding='utf-8') as f: f.write(content) # 将网页代码保存到本地 driver.quit() # 关闭浏览器 ``` 最后,Python爬虫的性能测试可以使用time库进行计时,以下是一个简单的示例代码: ```python import requests import time url = 'https://www.example.com' # 指定抓取的网址 start = time.time() # 记录开始时间 response = requests.get(url) # 发送请求 if response.status_code == 200: # 判断请求是否成功 end = time.time() # 记录结束时间 print('抓取时间:{:.2f}s'.format(end - start)) # 输出抓取时间 ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值