Reptile小案例

最新推荐文章于 2024-10-11 19:09:43 发布

颖小生儿

最新推荐文章于 2024-10-11 19:09:43 发布

阅读量174

点赞数

分类专栏： java reptile 文章标签： apache log4j java爬虫

本文链接：https://blog.csdn.net/qq_44789987/article/details/107303949

版权

java 同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

reptile

1 篇文章 0 订阅

订阅专栏

本文通过一个简单的步骤介绍如何建立一个Maven项目，并结合Log4j进行日志配置。在项目中，还涉及到了Java爬虫的开发，从创建项目到添加依赖，再到配置log4j.properties文件，最后实现Java爬虫代码的编写，全面展示了一个集成日志管理的Java爬虫项目的基本构建过程。

摘要由CSDN通过智能技术生成

1.建一个maven项目
2.添加依赖

<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.6</version>
        </dependency>

<!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
            <scope>test</scope>
        </dependency>

3.配置日志，resources下建 log4j.properties

log4j.rootLogger=DEBUG,A1
log4j.logger.域名后缀.域名.项目名 = DEBUG

log4j.append.A1 = org.apache.log4j.ConsoleAppender
log4j.append.A1.layout = org.apache.log4j.PatternLayout
log4j.append.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

4.开始撸代java码

public class  CrawlerDemo {
    public static void main(String[] args) throws Exception {
        //打开浏览器，创建httpclient
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //输入网址
        HttpGet httpGet = new HttpGet("http://www.xxxx.cn/");
        //按回车发起请求返回响应
         CloseableHttpResponse response = httpClient.execute(httpGet);
        //解析响应，获取数据,判断状态码
        if(response.getStatusLine().getStatusCode() == 200){
            HttpEntity httpEntity = response.getEntity();
            //字符集
            String content = EntityUtils.toString(httpEntity,"utf-8");
            System.out.println(content);
        }

    }
}