将web服务器日志文件中的IP地址转换为主机名

最新推荐文章于 2021-08-10 07:58:35 发布
最新推荐文章于 2021-08-10 07:58:35 发布
阅读量647 收藏
点赞数
分类专栏： java_concurrency 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013905744/article/details/74347089
版权

需求：将log文件中的ip地址转换为主机名

日志文件的格式如下：

10.100.122.132 - [17/Jun/2013:22:53:58] "GET /bgs/greenbg.gif HTTP 1.1" 200 50

10.100.122.133 - [17/Jun/2013:22:53:58] "GET /bgs/redbg.gif HTTP 1.1" 200 50

转换后的效果

PC-20161220MYVT  - [17/Jun/2013:22:53:58] "GET /bgs/greenbg.gif HTTP 1.1" 200 50

sog  - [17/Jun/2013:22:53:58] "GET /bgs/redbg.gif HTTP 1.1" 200 50

 

1. 解决方案1：顺序处理

 

public class MainThread {
    public static void main(String[] args) {
        try (BufferedReader in = new BufferedReader(
                new InputStreamReader(new FileInputStream("a.txt"), "UTF-8"));
        BufferedWriter bw = new BufferedWriter(new FileWriter("a_01.txt",true))) {
            for (String entry = in.readLine(); entry != null; entry = in.readLine()) {
                int index = entry.indexOf(' ');
                String address = entry.substring(0, index);
                String theRest = entry.substring(index);
                String hostname = InetAddress.getByName(address).getHostName();
                bw.append(hostname + " " + theRest);
                bw.newLine();
            }
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

 

存在的问题：程序耗费了大量时间等待DNS返回请求，在此期间什么也不做

2. 解决方案2：使用线程池

由一个主线程读取日志文件，使用线程池将各个日志项（每行）传递给其他线程进行处理。

通过这种方式，由于DNS转换耗时，那么可以在堵塞的时候进行其他线程的执行（如果DNS转换不耗时，那么就没有什么必要使用多线程），注意主线程中仍是顺序执行的，future是按照读取的顺序逐次返回。

2.1 DNSResolverTask

public class DNSResolverTask implements Callable<String> {

    private String line;
    public DNSResolverTask(String line) {
        this.line = line;
    }
    @Override
    public String call() {
        try {
            // separate out the IP address
            int index = line.indexOf(' ');
            String address = line.substring(0, index);
            String theRest = line.substring(index);
            //很多访问者访问网站时会请求多个页面。
            //DNS查找成本很高，如果每个网站每次出现在日志文件中时都要查找，这样做并不合适。
            //InetAddress类会缓存请求过的地址。如果再次请求相同的地址，它可以从缓存中获取，这比从DNS获取要快得多。
            String hostname = InetAddress.getByName(address).getHostName();
            return hostname + " " + theRest;
        } catch (Exception ex) {
            return line;
        }
    }
}

 

2.2 MainThread

 

public class MainThread {

    private final static int NUM_THREADS = 4;

    public static void main(String[] args) throws IOException {
        ExecutorService executor = Executors.newFixedThreadPool(NUM_THREADS);
        Queue<LogEntry> results = new LinkedList<LogEntry>();

        try (BufferedReader in = new BufferedReader(
                new InputStreamReader(new FileInputStream("a.txt"), "UTF-8"))) {
            //主线程读取文件项的速度要比各个线程解析域名并结束的速度快得多

            //会读取文件，并为每一行创建一个LookupTask.
            //通过for循环保证顺序
            for (String entry = in.readLine(); entry != null; entry = in.readLine()) {
                DNSResolverTask task = new DNSResolverTask(entry);
                //如果通过DNS转换不堵塞，那么使用多线程就没有什么必要
                //由于DNS转换耗时，那么可以在堵塞的时候进行其他线程的执行，快是快在这个地方
                Future<String> future = executor.submit(task);
                LogEntry result = new LogEntry(entry, future);
                //想法1：我直接向文件写 怎么样？
                //直接向文件写，可选 速度应该也不会太慢

                results.add(result);
            }
        }

        BufferedWriter bw = new BufferedWriter(new FileWriter("a_02.txt", true));
        for (LogEntry result : results) {
            try {
                bw.append(result.future.get());
            } catch (InterruptedException e) {
                bw.append(result.original);
            } catch (ExecutionException e) {
                bw.append(result.original);
            }
            bw.newLine();
            //不要忘记flush
            bw.flush();
        }
        executor.shutdown();
    }

    private static class LogEntry {
        //最初的一行log记录
        String original;
        Future<String> future;

        LogEntry(String original, Future<String> future) {
            this.original = original;
            this.future = future;
        }
    }
}

存在的问题：日志文件可能很庞大，所以使用LinkedList会导致这个程序占用大量内存

3. 解决方案3：使用生产者消费者队列

为避免这一点，可以把输出放在一个单独的线程中，它与输入线程共享同一个队列。由于解析输入的同时可以处理之前的日志文件项，所以队列不会膨胀得过大。但是这又会带来另一个问题。你需要一个单独的信号指示输出已经完成，因为空队列已经不足以证明任务已经完成。最容易的方法是统计输入行数，确保它与输出行数一致。

3.1 DNSResolveTask

public class DNSResolveTask implements Callable<String> {

    Logger logger = LoggerFactory.getLogger(DNSResolveTask.class);

    private String line;
    public DNSResolveTask(String line) {
        this.line = line;
    }
    @Override
    public String call() {
        try {
            // separate out the IP address
            int index = line.indexOf(' ');
            String address = line.substring(0, index);
            String theRest = line.substring(index);
            //很多访问者访问网站时会请求多个页面。
            //DNS查找成本很高，如果每个网站每次出现在日志文件中时都要查找，这样做并不合适。
            //InetAddress类会缓存请求过的地址。如果再次请求相同的地址，它可以从缓存中获取，这比从DNS获取要快得多。
            String hostname = InetAddress.getByName(address).getHostName();
            //logger.info("return a line to queue");
            return hostname + " " + theRest;
        } catch (Exception ex) {
            return line;
        }
    }
}

3.2 WriteTask

public class WriterTask implements Runnable {

    Logger logger = LoggerFactory.getLogger(WriterTask.class);

    private int lineCount;
    private LinkedBlockingQueue<MainThread.LogEntry> queue;

    public WriterTask(LinkedBlockingQueue<MainThread.LogEntry> queue, int lineCount) {
        this.queue = queue;
        this.lineCount = lineCount;
    }

    @Override
    public void run() {
        BufferedWriter bw = null;
        try {
            bw = new BufferedWriter(new FileWriter("a_03.txt", true));
            while (!Thread.interrupted() && lineCount != 0) {
                if(!queue.isEmpty()) {
                    MainThread.LogEntry remove = queue.remove();
                    try {
                        logger.info("write a line");
                        bw.append(remove.future.get());
                    } catch (InterruptedException e) {
                        bw.append(remove.original);
                    } catch (ExecutionException e) {
                        bw.append(remove.original);
                    }
                    bw.newLine();
                    bw.flush();
                    lineCount--;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

3.3 MainThread

public class MainThread {

    static Logger logger = LoggerFactory.getLogger(MainThread.class);

    private final static int NUM_THREADS = 4;

    public static void main(String[] args) throws IOException {

        final String fileName = "a.txt";

        //计算txt文件行数
        int lineCount = getLineCount(fileName);

        ExecutorService executor = Executors.newFixedThreadPool(NUM_THREADS);
        LinkedBlockingQueue<LogEntry> results = new LinkedBlockingQueue<>();

        executor.execute(new WriterTask(results, lineCount));

        BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(fileName), "UTF-8"));
        for (String entry = in.readLine(); entry != null; entry = in.readLine()) {
            DNSResolveTask task = new DNSResolveTask(entry);
            //如果通过DNS转换不堵塞，那么使用多线程就没有什么必要
            //由于DNS转换耗时，那么可以在堵塞的时候进行其他线程的执行，快是快在这个地方
            Future<String> future = executor.submit(task);
            LogEntry result = new LogEntry(entry, future);
            //想法1：我直接向文件写 怎么样？
            //直接向文件写，可选 速度应该也不会太慢

            //想法2：放到list中 作为一个生产者队列
            logger.info("add a line to queue");
            results.add(result);
        }

        executor.shutdown();
    }

    private static int getLineCount(String fileName) throws IOException {
        BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(fileName), "UTF-8"));
        String line;
        int lineCount = 0;
        while((line = in.readLine())!=null){
            lineCount++;
        }
        return lineCount;
    }

    static class LogEntry {
        //最初的一行log记录
        String original;
        Future<String> future;

        LogEntry(String original, Future<String> future) {
            this.original = original;
            this.future = future;
        }
    }
}

3.4 执行结果

const伐伐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java多线程读取日志文件_java 多线程 实时监控日志文件并实时读取新数据
weixin_31502485的博客
02-28 590
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)文章参考：https://www.jb51.net/article/116526.htmjava ScheduledExecutorService 多线程与定时任务的结合使用读取文件、写出文件 请使用 字符缓冲流、字节缓冲流File output = new Fi...
php中获取主机名、协议及IP地址的方法
12-19
`gethostbyaddr()` 函数将这个IP地址转换为对应的主机名，并将其输出。 接下来，获取IP地址列表，可以使用 `gethostbynamel()` 函数。比如，我们要获取“localhost”的IP地址列表： ```php $hosts = ...
在一台web服务器上配置自己的主机名
My_name_is_ZwZ的博客
08-03 2664
背景：        在实际应用中，不可能使用http://127.0.0.1:8080/web应用名/web资源名的方式去访问一个网站，而是类似：http://www.baidu.com去访问。 如何实现：   1.在C:/windows/System32/drivers/etc中找到名为hosts的文件，用记事本或者其他的编辑工具打开之后，配置自己想用的名字（在文件里面有“127.0.0...
微服务获取客户端真实IP
0.2°C
04-10 4471
微服务中客户端到服务器流程走向大概如下图： 在会员服务中，想要在请求头zh
web服务器地址在哪修改,怎么web修改服务器地址
weixin_33308579的博客
08-06 594
怎么web修改服务器地址 内容精选换一换园区智能体的算法服务支持的输出类型为Webhook。在创建作业前您需确保Webhook Service已运行成功。下面以一个简单的python脚本作为示例，展示如何启动Webhook Service并保存接收的数据。准备一台本地的Linux服务器，确保Linux服务器和边缘节点服务器网络通畅，并已安装python环境。使用ifconfig华为云帮助中心，为用...
解析IP地址为主机域名。
laza的专栏
02-06 1499
解析IP地址为主机域名。使用 WinSock 单元；过程如下：  function IPAddrToName(IPAddr : String): String;  var    SockAddrIn: TSockAddrIn;    HostEnt: PHostEnt;    WSAData: TWSAData;  begin    WSAStartup($101, WSAData);   
PHP 显示客户端IP与服务器IP的代码
12-17
在PHP中，`gethostbyname()`函数用于将主机名转换为对应的IP地址。在示例代码中，`gethostbyname('www.baidu.com')`返回了百度的IP地址"61.135.169.105"。这个函数尝试解析域名并返回其对应的IPv4或IPv6地址。如果...
Web服务器的组建与.ppt
10-22
9. **NAT穿透**：通过NAT（网络地址转换）技术，使内网的Web服务器可以被外部网络访问。 **Apache服务器的搭建** Apache是开源的Web服务器软件，以其稳定性和可扩展性而著名。其配置过程包括： 1. **下载与安装...
根据域名获得IP地址列表
08-21
DNS是互联网的一项服务，它将易于记忆的域名转换为计算机可以识别的IP地址。在C#中，我们可以利用System.Net命名空间中的Dns类来执行这个操作。下面，我们将详细讨论如何实现这一过程，并提供相关的知识点。 1. **...
RedHat中服务器的搭建[汇编].pdf
10-12
4. 逆向解析文件的配置：逆向解析文件（如`/var/named/db.10.168`）则用于将IP地址转换为域名。确保IP地址段和对应域名的正确对应。 5. 数据库文件的配置：可能还需要创建其他数据库文件，如`/var/named/named.ca`...
关于在主机host文件中添加IP地址与主机名的映射关系时出现的问题（Java Web开发技术篇001）
Mr_wilson_liu的博客
11-14 7538
1.hosts文件位于系统根目录下的system32\drivers\etc中； 2.打开后为如下图： 3.添加映射关系得添加在 如下图位置，且前面不能有“#”号：
web服务器默认文档名称,web服务器默认的本机主机名
weixin_39794213的博客
08-10 840
web服务器默认的本机主机名 内容精选换一换在SAP S/4HANA的安装过程中，安装程序使用主机名称来进行通信。因此需要配置主机名称和IP地址的映射关系。此处以ASCS主备节点对应关系为例，说明如下：ascsha为ASCS主节点虚拟主机名，ersha为ASCS备节点虚拟主机名，虚拟机主机名可自定义。这里无需写入虚拟IP地址与虚拟主机名对应关系，因为虚拟IP需要配置HA之后才能生效以CentOS ...
如何查看Web服务器日志
热门推荐
安大在线
03-11 2万+
网站服务器的日记，对每个站长来说都是很重要的，从这里我们能得到很多的信息。你可以刚开始不懂，但做站长后你是不能不懂的。我以前也不懂，但看文章老看到，就学了下，也就懂了。 　　什么是服务器的日记? 　　服务器的日记就是记录网站被访问的全过程，什么时间到什么时间有哪些人来过，什么搜索引擎来过，有没有收录你的网页。从你的网站工作的第一天你的日记就有了。 　　如何查看自己的服务器的日记?
log4日志内容换行_实时监控Linux服务器日志文件的4中方法
weixin_39994949的博客
11-28 312
在 Linux 下如何才能实时查看日志内容呢？有很多工具可以帮助我们在文件持续修改的同时输出文件内容，最常用的莫过于 tail 命令 了。1. tail Command – Monitor Logs in Real Time如前所述, tail 命令是实时显示日志的最常用的方法。不过该命令有两个版本，如下所示。第一个例子是为 tail 命令加上 -f 参数。$ sudo tail -f /var/...
Linux系统服务器将主机名指向公网IP地址
落日的博客
04-06 1138
在服务器搭服务的时候遇到Dubbo连接超时 看日志发现竟然连接了服务器的内网ip 太坑了 经过一番百度之后终于找到解决办法 就是将服务器的主机名与公网ip绑定即可 在 hosts文件末尾加上 公网ip 主机名 即可 如果host文件有ipv4 和ipv6 最后在两个的后面都加上 ...
如何获取MySQL服务器的主机名或IP地址
最新发布
05-17
3. 查看MySQL配置文件：如果你有权限查看MySQL服务器的配置文件，你可以在配置文件中找到MySQL服务器的主机名或IP地址。配置文件的位置可能因不同的操作系统而异，但通常在 /etc/mysql/ 目录下。 4. 使用MySQL命令...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值