【爬虫基础】java用正则表达式处提取网页信息

在网络爬虫这一方面,java并不如Python好用。本文只用正则表达式提取信息,如果想要更精确地从html文件中提取信息,必须使用网页地解析器。可以通过第三方库,比如Jsoup等。

我们提取出豆瓣的Top250电影名

没有网页解析器,这是一件比较困难的事情。我们首先获得网页。JDK9开始新增的net.http包,这比原来的方式要简单许多
package newHTTP;

import java.io.IOException;
import java.net.URI;
import java.net.URLEncoder;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;

public class HttpClientDoPost
{
   
	public static void main(String[] args) throws InterruptedException,IOException
	{
   
		doPost();
	}
	
	public static void doPost() throws InterruptedException
	{
   
		try
		{
   
			//创建客户机
			HttpClient client=HttpClient.newHttpClient();
			//定义请求,配置参数
			HttpRequest request=HttpRequest.newBuilder()
					.uri(URI.
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java正则表达式爬虫是一种使用正则表达式来匹配和提取网页中的数据的爬虫程序。正则表达式是一种强大的文本匹配工具,可以用来描述和匹配字符串的模式。在Java中,可以使用java.util.regex包提供的类来实现正则表达式的功能。 以下是使用Java正则表达式爬虫的基本步骤: 1. 导入java.util.regex包:在Java程序中,首先需要导入java.util.regex包,以便使用正则表达式相关的类和方法。 2. 创建正则表达式模式:使用Pattern类的compile方法创建一个正则表达式模式。该模式描述了要匹配的字符串的规则。 3. 创建匹配器:使用Pattern类的matcher方法创建一个Matcher对象。Matcher对象用于对输入字符串进行匹配操作。 4. 进行匹配操作:使用Matcher对象的find、matches或replaceAll等方法进行匹配操作。find方法用于查找输入字符串中与模式匹配的子序列;matches方法用于判断整个输入字符串是否与模式匹配;replaceAll方法用于将输入字符串中与模式匹配的部分替换为指定的字符串。 5. 提取匹配结果:使用Matcher对象的group方法提取与模式匹配的子序列。group方法返回一个字符串,表示与模式匹配的子序列。 6. 循环匹配:如果需要提取多个匹配结果,可以使用循环结构来重复进行匹配操作。 下面是一个简单的示例代码,演示了如何使用Java正则表达式爬虫提取网页中的链接: ```java import java.util.regex.Matcher; import java.util.regex.Pattern; public class RegexCrawler { public static void main(String[] args) { String html = "<a href=\"https://www.example.com\">Example</a>"; String pattern = "<a\\s+href=\"([^\"]+)\">([^<]+)</a>"; Pattern p = Pattern.compile(pattern); Matcher m = p.matcher(html); while (m.find()) { String url = m.group(1); String text = m.group(2); System.out.println("URL: " + url); System.out.println("Text: " + text); } } } ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值