java爬虫难学吗_入门之JAVA爬虫

最新推荐文章于 2024-07-04 16:04:39 发布
最新推荐文章于 2024-07-04 16:04:39 发布
阅读量332 收藏 2
点赞数
文章标签： java爬虫难学吗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29811891/article/details/114135909
版权

一：什么是爬虫？爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

二：写java爬虫需要具备什么基础知识？jdbc：操作数据库。

ehcache(redis)：重复url判断。

log4j：日志记录。

httpclient：发送http请求。

jsoup：解析返回的网页内容。

三：举个例子博客园首页爬取 地址：博客园 - 代码改变世界。

项目结构

pom.xml：项目maven依赖

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

com.inossem

BlogSpider

0.0.1-SNAPSHOT

mysql

mysql-connector-java

5.1.37

org.apache.httpcomponents

httpclient

4.5.2

org.jsoup

jsoup

1.10.1

log4j

log4j

1.2.16

net.sf.ehcache

ehcache

2.10.3

commons-io

commons-io

2.5

log4j.rootLogger=INFO, stdout,D

#Console

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.Target = System.out

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=[%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

#D

log4j.appender.D = org.apache.log4j.RollingFileAppender

log4j.appender.D.File = D://bloglogs/log.log

log4j.appender.D.MaxFileSize=100KB

log4j.appender.D.MaxBackupIndex=100

log4j.appender.D.Append = true

log4j.appender.D.layout = org.apache.log4j.PatternLayout

log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n

ehcache.xml：缓存相关

maxElementsInMemory="1"

eternal="true"

overflowToDisk="true"/>

name="cnblog"

maxElementsInMemory="1"

diskPersistent="true"

eternal="true"

overflowToDisk="true"/>

dbUrl=jdbc:mysql://localhost:3306/db_blogs?autoReconnect=true

dbUserName=root

dbPassword=root

jdbcName=com.mysql.jdbc.Driver

cacheFilePath=D://ehcache//ehcache.xml

imageFilePath=D://blogImages/

imagePath=http://localhost:8080/BlogCms/static/blogmIages/

DateUtil.java: 获取日期工具类

package com.inossem.blog.util;

import java.text.SimpleDateFormat;

import java.util.Date;

/**

* 日期工具类

* @author user

*

*/

public class DateUtil {

/**

* 获取当前年月日路径

* @return

* @throws Exception

*/

public static String getCurrentDatePath()throws Exception{

Date date=new Date();

SimpleDateFormat sdf=new SimpleDateFormat("yyyy/MM/dd");

return sdf.format(date);

}

public static void main(String[] args) {

try {

System.out.println(getCurrentDatePath());

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

DbUtil.java: 数据库操作工具类

package com.inossem.blog.util;

import java.sql.Connection;

import java.sql.DriverManager;

/**

* 数据库工具类

* @author user

*

*/

public class DbUtil {

/**

* 获取连接

* @return

* @throws Exception

*/

public Connection getCon()throws Exception{

Class.forName(PropertiesUtil.getValue("jdbcName"));

Connection con=DriverManager.getConnection(PropertiesUtil.getValue("dbUrl"), PropertiesUtil.getValue("dbUserName"), PropertiesUtil.getValue("dbPassword"));

return con;

}

/**

* 关闭连接

* @param con

* @throws Exception

*/

public void closeCon(Connection con)throws Exception{

if(con!=null){

con.close();

}

}

public static void main(String[] args) {

DbUtil dbUtil=new DbUtil();

try {

dbUtil.getCon();

System.out.println("数据库连接成功");

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

System.out.println("数据库连接失败");

}

}

}

PropertiesUtil.java: 获取配置文件信息工具类

package com.inossem.blog.util;

import java.io.*;

import java.util.Properties;

/**

* properties工具类

* @author user

*

*/

public class PropertiesUtil {

/**

* 根据key获取value值

* @param key

* @return

*/

public static String getValue(String key){

Properties prop=new Properties();

try {

InputStream in = new FileInputStream("src/main/resources/spider.properties");

prop.load(in);

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

return prop.getProperty(key);

}

public static void main(String[] args) {

System.out.println(getValue("imageFilePath"));

}

}

CnBlogSpider.java: 爬虫

package com.inossem.blog.spider;

import com.inossem.blog.util.DateUtil;

import com.inossem.blog.util.DbUtil;

import com.inossem.blog.util.PropertiesUtil;

import net.sf.ehcache.Cache;

import net.sf.ehcache.CacheManager;

import net.sf.ehcache.Status;

import org.apache.commons.io.FileUtils;

import org.apache.http.HttpEntity;

import org.apache.http.ParseException;

import org.apache.http.client.ClientProtocolException;

import org.apache.http.client.config.RequestConfig;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.util.EntityUtils;

import org.apache.log4j.Logger;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.io.File;

import java.io.IOException;

import java.io.InputStream;

import java.sql.Connection;

import java.sql.PreparedStatement;

import java.sql.SQLException;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import java.util.UUID;

public class CnBlogSpider {

private static Logger logger = Logger.getLogger(CnBlogSpider.class);

private static final String URL = "http://www.cnblogs.com/";

private static Connection con = null;

private static CacheManager manager = null; // cache管理器

private static Cache cache = null; // cache缓存对象

/**

* 解析主页

*/

private static void parseHomePage() {

logger.info("开始爬取" + URL + "网页");

manager = CacheManager.create(PropertiesUtil.getValue("cacheFilePath"));

cache = manager.getCache("cnblog");

CloseableHttpClient httpClient = HttpClients.createDefault(); // 获取HttpClient实例

HttpGet httpget = new HttpGet(URL); // 创建httpget实例

RequestConfig config = RequestConfig.custom().setSocketTimeout(100000) // 设置读取超时时间

.setConnectTimeout(5000) // 设置连接超时时间

.build();

httpget.setConfig(config);

CloseableHttpResponse response = null;

try {

response = httpClient.execute(httpget);

} catch (ClientProtocolException e) {

logger.error(URL + "-ClientProtocolException", e);

} catch (IOException e) {

logger.error(URL + "-IOException", e);

}

if (response != null) {

HttpEntity entity = response.getEntity(); // 获取返回实体

// 判断返回状态是否为200

if (response.getStatusLine().getStatusCode() == 200) {

String webPageContent = null;

try {

webPageContent = EntityUtils.toString(entity, "utf-8");

parseHomeWebPage(webPageContent);

} catch (ParseException e) {

logger.error(URL + "-ParseException", e);

} catch (IOException e) {

logger.error(URL + "-IOException", e);

}

} else {

logger.error(URL + "-返回状态非200");

}

} else {

logger.error(URL + "-连接超时");

}

try {

if (response != null) {

response.close();

}

if (httpClient != null) {

httpClient.close();

}

} catch (Exception e) {

logger.error(URL + "Exception", e);

}

if (cache.getStatus() == Status.STATUS_ALIVE) {

cache.flush(); // 把缓存写入文件

}

manager.shutdown();

logger.info("结束爬取" + URL + "网页");

}

/**

* 解析首页内容 提取博客link

*

* @param webPageContent

*/

private static void parseHomeWebPage(String webPageContent) {

if ("".equals(webPageContent)) {

return;

}

Document doc = Jsoup.parse(webPageContent);

Elements links = doc.select("#post_list .post_item .post_item_body h3 a");

for (int i = 0; i < links.size(); i++) {

Element link = links.get(i);

String url = link.attr("href");

System.out.println(url);

if (cache.get(url) != null) { // 如果缓存中存在就不插入

logger.info(url + "-缓存中存在");

continue;

}

parseBlogLink(url);

}

}

/**

* 解析博客链接地址 获取博客内容

*

* @param link

*/

private static void parseBlogLink(String link) {

logger.info("开始爬取" + link + "网页");

CloseableHttpClient httpClient = HttpClients.createDefault(); // 获取HttpClient实例

HttpGet httpget = new HttpGet(link); // 创建httpget实例

RequestConfig config = RequestConfig.custom().setSocketTimeout(100000) // 设置读取超时时间

.setConnectTimeout(5000) // 设置连接超时时间

.build();

httpget.setConfig(config);

CloseableHttpResponse response = null;

try {

response = httpClient.execute(httpget);

} catch (ClientProtocolException e) {

logger.error(URL + "-ClientProtocolException", e);

} catch (IOException e) {

logger.error(URL + "-IOException", e);

}

if (response != null) {

HttpEntity entity = response.getEntity(); // 获取返回实体

// 判断返回状态是否为200

if (response.getStatusLine().getStatusCode() == 200) {

String blogContent = null;

try {

blogContent = EntityUtils.toString(entity, "utf-8");

parseBlogPage(blogContent, link);

} catch (ParseException e) {

logger.error(URL + "-ParseException", e);

} catch (IOException e) {

logger.error(URL + "-IOException", e);

}

} else {

logger.error(URL + "-返回状态非200");

}

} else {

logger.error(URL + "-连接超时");

}

try {

if (response != null) {

response.close();

}

if (httpClient != null) {

httpClient.close();

}

} catch (Exception e) {

logger.error(URL + "Exception", e);

}

logger.info("结束爬取" + link + "网页");

}

/**

* 解析博客内容，提取有效信息

*

* @param blogContent

* @param link

*/

private static void parseBlogPage(String blogContent, String link) {

if ("".equals(blogContent)) {

return;

}

Document doc = Jsoup.parse(blogContent);

Elements titleElements = doc.select("#cb_post_title_url"); // 获取博客标题

if (titleElements.size() == 0) {

logger.error(link + "-未获取到博客标题");

return;

}

String title = titleElements.get(0).text();

System.out.println("博客标题：" + title);

Elements contentElements = doc.select("#cnblogs_post_body"); // 获取博客内容

if (contentElements.size() == 0) {

logger.error(link + "-未获取到博客内容");

return;

}

String content = contentElements.get(0).html();

System.out.println("博客内容：" + content);

/**

* 处理图片内容

*/

// Elements imgElements = contentElements.select("img"); // 获取所有图片元素

// List imgUrlList = new LinkedList();

// for (int i = 0; i < imgElements.size(); i++) {

// Element imgEle = imgElements.get(i);

// String url = imgEle.attr("src");

// imgUrlList.add(url);

// System.out.println(url);

// }

//

// if (imgUrlList.size() > 0) {

// Map replaceImgMap = downLoadImages(imgUrlList);

// String newContent = replaceWebPageImages(content, replaceImgMap);

// content = newContent;

// }

// 插入数据库

String sql = "insert into t_article values(null,?,?,?,now())";

try {

PreparedStatement pstmt = con.prepareStatement(sql);

pstmt.setString(1, title);

pstmt.setString(2, content);

pstmt.setString(3, link);

if (pstmt.executeUpdate() == 1) {

logger.info(link + "-成功插入数据库");

cache.put(new net.sf.ehcache.Element(link, link));

logger.info(link + "-已加入缓存");

} else {

logger.info(link + "-插入数据库失败");

}

} catch (SQLException e) {

logger.error("SQLException", e);

}

}

/**

* 把原来的网页图片地址换成本地新的

*

* @param content

* @param replaceImgMap

* @return

*/

private static String replaceWebPageImages(String content, Map replaceImgMap) {

for (String url : replaceImgMap.keySet()) {

String newPath = replaceImgMap.get(url);

content = content.replace(url, newPath);

}

return content;

}

/**

* 下载图片到本地

*

* @param imgUrlList

* @return

*/

private static Map downLoadImages(List imgUrlList) {

Map replaceImgMap = new HashMap();

RequestConfig config = RequestConfig.custom().setSocketTimeout(10000) // 设置读取超时时间

.setConnectTimeout(5000) // 设置连接超时时间

.build();

CloseableHttpClient httpClient = HttpClients.createDefault(); // 获取HttpClient实例

for (int i = 0; i < imgUrlList.size(); i++) {

try {

Thread.sleep(1000);

} catch (InterruptedException e) {

e.printStackTrace();

}

String url = imgUrlList.get(i);

logger.info("开始爬取" + url + "图片");

CloseableHttpResponse response = null;

try {

HttpGet httpget = new HttpGet(url); // 创建httpget实例

httpget.setConfig(config);

response = httpClient.execute(httpget);

} catch (ClientProtocolException e) {

logger.error(url + "-ClientProtocolException");

} catch (IOException e) {

logger.error(url + "-IOException");

}

if (response != null) {

HttpEntity entity = response.getEntity(); // 获取返回实体

// 判断返回状态是否为200

if (response.getStatusLine().getStatusCode() == 200) {

try {

InputStream inputStream = entity.getContent();

String imageType = entity.getContentType().getValue();

String urlB = imageType.split("/")[1];

String uuid = UUID.randomUUID().toString();

String currentDatePath = DateUtil.getCurrentDatePath();

String newPath = PropertiesUtil.getValue("imagePath") + currentDatePath + "/" + uuid + "." + urlB;

FileUtils.copyToFile(inputStream, new File(PropertiesUtil.getValue("imageFilePath") + currentDatePath + "/" + uuid + "." + urlB));

replaceImgMap.put(url, newPath);

} catch (UnsupportedOperationException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} catch (Exception e) {

e.printStackTrace();

}

} else {

logger.error("返回状态非200");

}

} else {

logger.error("连接超时");

}

try {

if (response != null) {

response.close();

}

} catch (Exception e) {

logger.error("Exception", e);

}

logger.info("结束爬取" + url + "图片");

}

return replaceImgMap;

}

public static void start() {

DbUtil dbUtil = new DbUtil();

try {

con = dbUtil.getCon();

} catch (Exception e) {

logger.error("创建数据库连接失败", e);

}

parseHomePage();

}

public static void main(String[] args) {

start();

}

}

DownLoadImageTest.java: 下载图片测试类

package com.inossem.blog.spider;

import java.io.File;

import java.io.IOException;

import java.io.InputStream;

import java.util.UUID;

import org.apache.commons.io.FileUtils;

import org.apache.http.HttpEntity;

import org.apache.http.client.ClientProtocolException;

import org.apache.http.client.config.RequestConfig;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.log4j.Logger;

import com.inossem.blog.util.DateUtil;

import com.inossem.blog.util.PropertiesUtil;

public class DownLoadImageTest {

private static Logger logger=Logger.getLogger(DownLoadImageTest.class);

private static final String link="http://images2015.cnblogs.com/blog/952033/201705/952033-20170511210141910-342481715.png";

public static void main(String[] args) {

logger.info("开始爬取"+link+"图片");

CloseableHttpClient httpClient=HttpClients.createDefault(); // 获取HttpClient实例

HttpGet httpget=new HttpGet(link); // 创建httpget实例

RequestConfig config=RequestConfig.custom().setSocketTimeout(10000) // 设置读取超时时间

.setConnectTimeout(5000) // 设置连接超时时间

.build();

httpget.setConfig(config);

CloseableHttpResponse response=null;

try {

response=httpClient.execute(httpget);

} catch (ClientProtocolException e) {

logger.error("ClientProtocolException",e);

} catch (IOException e) {

logger.error("IOException",e);

}

if(response!=null){

HttpEntity entity=response.getEntity(); // 获取返回实体

// 判断返回状态是否为200

if(response.getStatusLine().getStatusCode()==200){

try {

InputStream inputStream=entity.getContent();

String imageType=entity.getContentType().getValue();

String urlB=imageType.split("/")[1];

String uuid=UUID.randomUUID().toString();

FileUtils.copyToFile(inputStream, new File(PropertiesUtil.getValue("imageFilePath")+DateUtil.getCurrentDatePath()+"/"+uuid+"."+urlB));

} catch (UnsupportedOperationException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}else{

logger.error("返回状态非200");

}

}else{

logger.error("连接超时");

}

try{

if(response!=null){

response.close();

}

if(httpClient!=null){

httpClient.close();

}

}catch(Exception e){

logger.error("Exception", e);

}

logger.info("结束爬取"+link+"图片");

}

}

创建数据库脚本：

CREATE DATABASE db_blogs;

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------

-- Table structure for t_article

-- ----------------------------

DROP TABLE IF EXISTS `t_article`;

CREATE TABLE `t_article` (

`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键id',

`title` varchar(200) DEFAULT NULL COMMENT '博客标题',

`content` longtext COMMENT '博客正文内容',

`orUrl` varchar(1000) DEFAULT NULL COMMENT '源博客地址',

`crawlerDate` datetime DEFAULT NULL COMMENT '爬虫博客日期',

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=23 DEFAULT CHARSET=utf8;

在D:\ehcache 下创建ehcache.xml

运行CnBlogSpider.java

打开数据库查看数据并选择一条数据

我们选取 标题：【机器学习】算法原理详细推导与实现(一):线性回归的博客内容。

创建txt文档：博客内容.txt

复制内容到博客内容.txt中，并修改文件名称为博客内容.html

打开html部分截图如下：

这样就爬取成功了，大功告成！！！

四：推荐

今天跟大家分享的java爬虫是入门级别的，深入一些推荐大家一个网站：webmagic：WebMagic

最后感谢大家参加本人的分享，日后会吸取大家共同交流的经验。希望大家共同努力，共同进步。

好姑娘老妖
关注
java爬虫抓取下载文件_java入门爬虫（爬取网页的图片下载到本地磁盘）
weixin_36040020的博客
02-24 1081
java爬虫入门技术我们需要用到http协议 从而建立java程序和网页的连接URL url = new URL("https://www.ivsky.com/tupian/ziranfengguang/");URLConnection urlConnection=url.openConnection();urlConnection.connect();//读取网页的htmlBufferedRea...
java爬虫入门
07-19
在这个"java爬虫入门"项目中，我们看到使用了几个关键的技术工具，包括`httpclient`、`jsoup`以及线程池，来实现对NBA官网球员数据的爬取。以下是对这些技术的详细说明： 1. **HTTPClient**：Apache HttpClient是一...
基于http的Java爬虫爬取百度新闻
05-06
基于http的Java爬虫爬取百度新闻
java写爬虫难吗，经验分享
m0_56824583的博客
06-29 352
咱先来聊聊Redis 像Redis的基础入门，掌握下图这几个列出来的知识点足以了。 进阶的话，就得下点功夫了，事务、主从复制、哨兵、集群等等之类的搞不明白你就上不去呀。 再看美团亿级流量Redis实战，Redis分布式锁、session、缓存与数据库一致性问题、缓存雪崩等之类的都是重中之重的技术点，必须掌握，没得商量。 看了这些个技术点，那么我现在就来考考你一些Redis面试问题（准备好，接招吧）： 为什么要用redis？ /为什么要用缓存？ 为什么要用redis而不用map/guava做缓存? 如
Java基础:爬虫
最新发布
weixin_65752158的博客
07-04 1754
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
用JAVA来实现爬虫并不难
zsxy2007的专栏
04-15 1495
   最近关注了比较红火的 酷讯的垂直搜索，就有点想用JAVA来做一个类似的网页爬虫工具。用什么语言比较好呢？想来想去，还是用JAVA来实现比较好一点，因为JAVA里集合了很多网络通信的功能。还有的就是JAVA可以有很好的文本分析能力。再说JAVA和Mysql数据库链接也比较快。好就这么定了。JAVA＋MYSQL数据库。页面的搜索功能就用PHP和MYSQL 组合.呵呵，真是完美组合。 
今天用JAVA来写个爬虫！其实也不难！
Kuls
11-21 3957
public static void main(String[] args) { try { //下面这行代码是连接我们的目标站点，并且g...
java爬虫毕业设计难不难_爬虫入门 手写一个Java爬虫
weixin_39713686的博客
02-26 159
该楼层疑似违规已被系统折叠隐藏此楼查看此楼page 类： 主要作用： 保存响应的相关内容 对外提供访问方法；ppackage com.etoak.crawl.page;import com.etoak.crawl.util.CharsetDetector;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import java.io.U...
Java爬虫从入门到精通
06-13
本课程是java大数据系列课程的数据采集部分，通过java爬虫技术从互联网进行在线数据采集，存储。对于本课程学习要求具有一定的java编程基础。通过本课的学习，能够掌握爬虫技术原理，数据采集的原则，数据采集的方式...
全栈性能java网络爬虫从入门到精通实战.pdf
05-26
全面总结概括爬虫的基本原理以及应用，特别是对java有一定基础的人更容易上手。由于它在业界得到广泛的认可的是爬虫爱好者必备的武功秘籍。
爬虫入门 手写一个Java爬虫
weixin_30325487的博客
11-18 4492
本文内容涞源于 罗刚老师的书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2:手动写一个简单的网络爬虫; 1:网络爬虫是做什么的? 他的主要工作就是 跟据指定的url地址去发送请求,获得响应,然后解析响应 ,一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径, 然后继续访问,继续解析;...
Java爬虫
热门推荐
技术无止境
06-11 12万+
为什么我们要爬取数据 在大数据时代,我们要获取更多数据,就要进行数据的挖掘、分析、筛选,比如当我们做一个项目的时候,需要大量真实的数据的时候,就需要去某些网站进行爬取,有些网站的数据爬取后保存到数据库还不能够直接使用,需要进行清洗、过滤后才能使用,我们知道有些数据是非常真贵的。 分析豆瓣电影网站 我们使用Chrome浏览器去访问豆瓣的网站如 https://movie.douban.com/exp...
Java 从零开始学爬虫（gecco）
weixin_33851604的博客
05-26 948
2019独角兽企业重金招聘Python工程师标准>>> ...
java爬虫 教程_Java爬虫其实也很简单，教你实用的入门级爬虫
weixin_42484858的博客
02-12 433
原标题：Java爬虫其实也很简单，教你实用的入门级爬虫任何语言都是可以爬虫的，只要你懂的常用的http协议啥的就可以模仿浏览器的行为获取你想要的数据。这里我将教大家一个简单实用的案例：如何获取全民K歌的下载链接。ps: 这主要是教大家一个入门级的爬虫，不是希望大家去跳过vip下载...那种专业fildder这类软件抓包我就不提了，免得文章显得更加复杂化。推荐用谷歌浏览器容易看。1.打开浏览器进去一...
Java网络爬虫入门：道德与基础要点解析
对于想要入门Java网络爬虫的学习者，文章作者建议重点关注以下四个基础知识点： 1. 理解Robots协议：遵循网站的爬取规则，尊重网站的隐私设置和访问限制。 2. 掌握Java爬虫库：如WebMagic，了解其工作原理和基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值