日志系统性能对比分析

最新推荐文章于 2022-11-19 22:24:08 发布
最新推荐文章于 2022-11-19 22:24:08 发布
阅读量492 收藏
点赞数
文章标签： 网络

1. 引言

日志系统主要负责记录系统运行过程中的行为和数据，这些行为和数据将作为系统恢复、错误查找、数据纠正的重要依据，其重要性可见一斑！但是往往对于一个有高性能要求的信息系统而言，日志系统往往又是整个系统的瓶颈所在，针对这个问题，以下为寻找一个更优的日志系统设计方案做一些前期的探索工作。

以下将对常用的日志系统进行较简单的实现和测试，因采用以下方式的日志系统都是依赖于以下基本的实现过程，因此其基本上能较为准确的反应出各实现方式的性能差异！

2. TCP日志系统[异步]

2.1 服务端代码

>主函数代码

主函数主要负责侦听指定端口，等待接受客户端的连接请求，同时启动子进程与客户端进行交互。[注意：实际应用中可以使用进程池和线程池机制进行完善，但是测试过程中不必过于复杂]

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, clifd = 0, len = 0;
	struct sockaddr_in svraddr, cliaddr;


	/* Create socket */
	sckid = socket(AF_INET, SOCK_STREAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Bind port */
	bzero(&svraddr, sizeof(svraddr));

	svraddr.sin_family = AF_INET;
	svraddr.sin_addr.s_addr = htonl(INADDR_ANY);
	svraddr.sin_port = htons(PORT);

	ret = bind(sckid, (struct sockaddr *)&svraddr, sizeof(svraddr));
	if(ret < 0)
	{
		fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	ret = listen(sckid, 20);
	if(ret < 0)
	{
		fprintf(stderr, "Listen failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Receive client connection */
	while(1)
	{
		memset(&cliaddr, 0, sizeof(cliaddr));

		len = sizeof(cliaddr);
		clifd = accept(sckid, (struct sockaddr *)&cliaddr, &len);
		
		ret = fork();
		if(ret < 0)
		{
			fprintf(stderr, "Fork failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		if(0 == ret)
		{
			close(sckid);
			recv_msg(clifd);
			exit(1);
		}
	}


	close(sckid);

	return 0;
}

>接收代码

此函数由服务端子进程调用，用于接收客户端发送的日志信息，并将信息写入指定的日志文件中！

int recv_msg(int clifd)
{
	int ret = 0, fd = -1;
	char buf[1024] = {0};

	fd = open("test.log", O_CREAT|O_WRONLY|O_APPEND, 0666);
	if(fd < 0)
	{
		fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	while(1)
	{
		memset(buf, 0, sizeof(buf));

		ret = read(clifd, buf, sizeof(buf) - 1);
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				continue;
			}

			fprintf(stderr, "Read failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		else if(0 == ret)
		{
			break;
		}

		write(fd, buf, ret);
	}

	close(clifd);
	close(fd);

	return 0;
}

2.2 客户端代码

此函数负责连接至远程服务端，并将日志信息发送至远程服务端！

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, idx = 0;
	struct sockaddr_in server;
	char buf[BUFLEN] = {0};

	memset(&server, 0, sizeof(server));

	/* Create socket */
	sckid = socket(AF_INET, SOCK_STREAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}
	
	/* Connect to server */
	server.sin_family = AF_INET;
	inet_pton(AF_INET, "127.0.0.1", &server.sin_addr);
	server.sin_port = htons(PORT);

	ret = connect(sckid, (void *)&server, sizeof(server));
	if(ret < 0)
	{
		fprintf(stderr, "Connect failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Send log information */
	for(idx=0; idx<LOOP; idx++)
	{
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);

		ret = write(sckid, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
	}

	close(sckid);

	return 0;
}

2.3 测试结果

撰写100w条日志的测试结果如下图所示：[注：请关注红线区域的系统调用情况]

LOG-TCP

图1 TCP日志系统测试结果

3. UDP日志系统[异步]

3.1 服务端代码

此模块负责绑定指定端口，并接收UDP客户端发送过来的数据，并将数据写入到指定的日志文件中。[注：在实际的应用过程中，可以引入线程池机制进行完善]

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, fd = 0, len = 0;
	char msg[BUFLEN] = {0};
	struct sockaddr_in svraddr, fromaddr;


	/* Create socket */
	sckid = socket(AF_INET, SOCK_DGRAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Bind port */
	bzero(&svraddr, sizeof(svraddr));

	svraddr.sin_family = AF_INET;
	svraddr.sin_addr.s_addr = htonl(INADDR_ANY);
	svraddr.sin_port = htons(PORT);

	ret = bind(sckid, (struct sockaddr *)&svraddr, sizeof(svraddr));
	if(ret < 0)
	{
		fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	fd = open("test.log", O_CREAT|O_WRONLY|O_APPEND, 0666);
	if(fd < 0)
	{
		fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Receive log information */
	while(1)
	{
		memset(&fromaddr, 0, sizeof(fromaddr));

		len = sizeof(fromaddr);

		ret = recvfrom(sckid, msg, sizeof(msg), 0, (struct sockaddr *)&fromaddr, &len);
		if(ret < 0)
		{
			if(EINTR == ret)
			{
				continue;
			}
			fprintf(stderr, "Recvfrom failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		
		write(fd, msg, ret);
	}

	close(sckid);
	close(fd);

	return 0;
}

3.2 客户端代码

客户端代码主要将日志信息发送到服务端指定端口！

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, idx = 0;
	struct sockaddr_in server;
	char buf[BUFLEN] = {0};

	memset(&server, 0, sizeof(server));

	/* Create socket */
	sckid = socket(AF_INET, SOCK_DGRAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}
	
	/* Connect to server */
	server.sin_family = AF_INET;
	inet_pton(AF_INET, "127.0.0.1", &server.sin_addr);
	server.sin_port = htons(PORT);

	ret = connect(sckid, (void *)&server, sizeof(server));
	if(ret < 0)
	{
		fprintf(stderr, "Connect failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Send log information */
	for(idx=0; idx<LOOP; idx++)
	{
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);

		ret = write(sckid, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
	}

	close(sckid);

	return 0;
}

3.3 测试结果

撰写100w条日志的测试结果如下图所示：[注：请关注红线区域的系统调用情况]

LOG-UDP

图2 UDP日志系统测试结果

4. U-TCP日志系统[异步]

4.1 服务端代码

>主函数代码

主函数主要负责绑定指定文件，并等待接收客户端的连接请求，再启动子进程处理与客户端的交互！[注：实际应用中可使用进程池或线程池机制进行完善]

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, clifd = 0, len = 0, flag = 1;
	struct sockaddr_un svraddr, cliaddr;


	/* Create socket */
	sckid = socket(AF_UNIX, SOCK_STREAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	setsockopt(sckid, SOL_SOCKET, SO_REUSEADDR, &flag, sizeof(flag));

	/* Bind port */
	bzero(&svraddr, sizeof(svraddr));

	svraddr.sun_family = AF_UNIX;
	snprintf(svraddr.sun_path, sizeof(svraddr.sun_path), "%s", SVRPATH);

	ret = bind(sckid, (struct sockaddr *)&svraddr, sizeof(svraddr));
	if(ret < 0)
	{
		fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	ret = listen(sckid, 20);
	if(ret < 0)
	{
		fprintf(stderr, "Listen failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Send log information */
	while(1)
	{
		memset(&cliaddr, 0, sizeof(cliaddr));

		len = sizeof(cliaddr);
		clifd = accept(sckid, (struct sockaddr *)&cliaddr, &len);
		
		ret = fork();
		if(ret < 0)
		{
			fprintf(stderr, "Fork failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		else if(0 == ret)
		{
			close(sckid);
			recv_msg(clifd);
			exit(1);
		}
	}

	close(sckid);

	return 0;
}

>接收代码

此函数被子进程调用，主要负责接收客户端的日志信息，并将信息写入到指定的日志文件中！

int recv_msg(int clifd)
{
	int ret = 0, fd = -1;
	char buf[1024] = {0};

	fd = open("test.log", O_CREAT|O_WRONLY|O_APPEND, 0666);
	if(fd < 0)
	{
		fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	while(1)
	{
		memset(buf, 0, sizeof(buf));

		ret = read(clifd, buf, sizeof(buf) - 1);
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				continue;
			}

			fprintf(stderr, "Read failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		else if(0 == ret)
		{
			break;
		}

		write(fd, buf, ret);
	}

	close(clifd);
	close(fd);

	return 0;
}

4.2 客户端代码

此代码主要负责侦听指定文件，同时将日志信息发送到服务端！

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, idx = 0, flag = 1;
	struct sockaddr_un cliaddr, svraddr;
	char buf[BUFLEN] = {0};

	memset(&cliaddr, 0, sizeof(cliaddr));
	memset(&svraddr, 0, sizeof(svraddr));

	/* Create socket */
	sckid = socket(AF_UNIX, SOCK_STREAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	setsockopt(sckid, SOL_SOCKET, SO_REUSEADDR, &flag, sizeof(flag));
	
	/* Bind file */
	cliaddr.sun_family = AF_UNIX;
	snprintf(cliaddr.sun_path, sizeof(cliaddr.sun_path), "%s", CLI_LSN);

	ret = bind(sckid, (struct sockaddr *)&cliaddr, sizeof(cliaddr));
	if(ret < 0)
	{
		fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}	

	/* Connect to server */
	svraddr.sun_family = AF_UNIX;
	snprintf(svraddr.sun_path, sizeof(svraddr.sun_path), "%s", SVR_LSN);

	ret = connect(sckid, (void *)&svraddr, sizeof(svraddr));
	if(ret < 0)
	{
		fprintf(stderr, "Connect failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Send log information */
	for(idx=0; idx<LOOP; idx++)
	{
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);

		ret = write(sckid, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
	}

	close(sckid);

	return 0;
}

4.3 测试结果

客户端写100W条日志的测试结果如下图所示：[注：请注意红线区域的系统调用情况]

LOG-UTCP

图3 U-TCP日志系统测试结果

5. U-UDP日志系统[异步]

5.1 服务端代码

此代码负责侦听指定文件，同时接受客户端发送过来的数据，再将信息写入指定日志文件中。[注：实际实现过程，可使用线程池进行完善]

int main(int argc, const char *argv[])
{
    int ret = 0, sckid = -1, len = 0, flag = 1, fd = -1;
    struct sockaddr_un svraddr, fromaddr;
    char msg[MSGLEN] = {0};


    /* Create socket */
    sckid = socket(AF_UNIX, SOCK_DGRAM, 0);
    if(sckid < 0)
    {
        fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
        return -1;
    }

    setsockopt(sckid, SOL_SOCKET, SO_REUSEADDR, &flag, sizeof(flag));

    /* Bind port */
    bzero(&svraddr, sizeof(svraddr));

    svraddr.sun_family = AF_UNIX;
    snprintf(svraddr.sun_path, sizeof(svraddr.sun_path), "%s", SVRPATH);

    ret = bind(sckid, (struct sockaddr *)&svraddr, sizeof(svraddr));
    if(ret < 0)
    {
        fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
        return -1;
    }

    setsockopt(sckid, SOL_SOCKET, SO_REUSEADDR, &flag, sizeof(flag));

    fd = open("test.log", O_CREAT|O_WRONLY|O_APPEND, 0666);
    if(fd < 0)
    {
        fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
        return -1;
    }

    /* Send log information */
    while(1)
    {
        len = sizeof(fromaddr);    
        memset(&fromaddr, 0, sizeof(fromaddr));
        fromaddr.sun_family = AF_UNIX;

        ret = recvfrom(sckid, msg, sizeof(msg), 0, (struct sockaddr *)&fromaddr, &len);
        if(ret < 0)
        {
            if(EINTR == errno)
            {
                continue;
            }

            fprintf(stderr, "Recvfrom failed! errmsg:[%d]%s\n", errno, strerror(errno));
            break;
        }

        write(fd, msg, ret);
    }

    close(sckid);
    close(fd);

    return 0;
}

5.2 客户端代码

客户端代码侦听指定文件后，再将日志信息发送到服务端！

int main(int argc, const char *argv[])
{
	int ret = 0, sckid = -1, idx = 0, flag = 1;
	struct sockaddr_un cliaddr, svraddr;
	char buf[BUFLEN] = {0};

	memset(&cliaddr, 0, sizeof(cliaddr));
	memset(&svraddr, 0, sizeof(svraddr));

	/* Create socket */
	sckid = socket(AF_UNIX, SOCK_DGRAM, 0);
	if(sckid < 0)
	{
		fprintf(stderr, "Socket failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	setsockopt(sckid, SOL_SOCKET, SO_REUSEADDR, &flag, sizeof(flag));
	
	/* Bind file */
	cliaddr.sun_family = AF_UNIX;
	snprintf(cliaddr.sun_path, sizeof(cliaddr.sun_path), "%s", CLI_LSN);

	ret = bind(sckid, (struct sockaddr *)&cliaddr, sizeof(cliaddr));
	if(ret < 0)
	{
		fprintf(stderr, "Bind failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}	

	/* Connect to server */
	svraddr.sun_family = AF_UNIX;
	snprintf(svraddr.sun_path, sizeof(svraddr.sun_path), "%s", SVR_LSN);

	ret = connect(sckid, (void *)&svraddr, sizeof(svraddr));
	if(ret < 0)
	{
		fprintf(stderr, "Connect failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Send log information */
	for(idx=0; idx<LOOP; idx++)
	{
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);

		ret = write(sckid, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
	}

	close(sckid);

	return 0;
}

5.3 测试结果

客户端写100W条日志的测试结果如下图所示：[注：请注意红线区域的系统调用情况]

LOG-UUDP

图4 U-UDP日志系统测试结果

6. 同步日志系统[无锁]

6.1 代码实现

该函数是打开文件后，直接将日志写入指定文件中。[注：此日志系统适合在日志文件不共用的系统中]

int main(int argc, const char *argv[])
{
	int ret = 0, fd = 0, idx = 0;
	char buf[BUFLEN] = {0};

	fd = open("test.log", O_CREAT|O_APPEND|O_WRONLY, 0666);
	if(fd < 0)
	{
		fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
		return -1;
	}

	/* Write log information */
	for(idx=0; idx<LOOP; idx++)
	{
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);

		ret = write(fd, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
	}

	close(fd);

	return 0;
}

6.2 测试结果

客户端写100W条日志的测试结果如下图所示：[注：请注意红线区域的系统调用情况]

LOG-UNLOCK

图5 同步日志系统（无锁）测试结果

7. 同步日志系统[加锁]

7.1 代码实现

该函数打开文件后，再往文件中写入日志信息之前，需要加锁并重新调整文件流的位置！[注：此日志系统适合在日志文件共用的系统中]

int main(int argc, const char *argv[])
{
	int ret = 0, fd = 0, idx = 0;
	char buf[BUFLEN] = {0};
	
	
	for(idx=0; idx<LOOP; idx++)
	{
		fd = open("test.log", O_CREAT|O_APPEND|O_WRONLY, 0666);
		if(fd < 0)
		{
			fprintf(stderr, "Open failed! errmsg:[%d]%s\n", errno, strerror(errno));
			return -1;
		}
		
		snprintf(buf, sizeof(buf), "This is just a test![%d]\n", idx);
	
		lockf(fd, F_LOCK, 0);
		lseek(fd, 0, SEEK_END);

		ret = write(fd, buf, strlen(buf));
		if(ret < 0)
		{
			if(EINTR == errno)
			{
				--idx;
				continue;
			}

			fprintf(stderr, "Write failed! errmsg:[%d]%s\n", errno, strerror(errno));
			break;
		}
		close(fd);
	}

	return 0;
}

7.2 测试结果

客户端写100W条日志的测试结果如下图所示：[注：请注意红线区域的系统调用情况]

图6 同步日志系统（加锁）测试结果

8. 其他日志系统

其他日志系统包括使用共享内存、消息队列等等方式实现的日志系统，因其过程相对较为复杂，在此不做实现！感兴趣的可以自己去实现，并对比一下各自的性能情况！

9. 性能分析

以上系统调用的结果是通过strace -c ./proc-name进行统计的，通过对比可知性能排序如下所示：（依次递减）

名次日志系统时间提高
(t1/t0)		性能对比
(t0-t1)/t1
01同步日志[无锁]1
（参照t0）		+285%
02U-UPD异步日志1.58+143.7%
03UDP异步日志1.70+126.5%
04U-TCP异步日志2.10+83.3%
05TCP异步日志2.10+83.3%
06同步日志[加锁]3.850%
（参照t0）

表1 性能排序

总结：以上6种日志系统中，同步日志系统（无锁）的性能比其他5种日志系统的性能明显优异，而使用加锁的日志系统性能明显比其他的差很多！

注意：使用共享内存的日志缓存+无锁机制+同步机制+SVR进程的日志系统的性能在同步日志系统[无锁]的基础上提高150%以上，关于此日志系统的设计我将在后续的博文中给出设计思路。

作者： 邹祁峰

2013年10月17日

iteye_4185
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
日志库性能比较
ZZY1078689276的专栏
01-22 1966
异步日志记录峰值吞吐量比较 异步日志记录响应时间 异步日志参数化信息 与调用方位置信息的异步日志记录 同步文件日志记录持续的吞吐量比较 同步文件日志-响应时间比较 过滤的水平 高级过滤 权衡 异步日志记录——峰值吞吐量比较   异步日志记录对于处理突发事件非常有用。它的工作原理是，应用程序线程在一个日志事件中捕获所有需要的信息，然后将这个日志事件放在一个队列中，以便稍后处理后台线程
5个日志数据：让你轻松分析系统性能
需要界面开发、IDE工具研发中文教程资料的小伙伴，记得私信我~
10-28 693
1.缓慢的响应时间 响应时间是日志数据最常见和最有用的性能，它能让你知道请求是多长时间被系统响应的。例如Web服务器日志可以让你洞察请求需要多久才能返回客户端设备的响应。这时间可以包括采用web服务器背后的不同组件（应用服务器，数据块）来处理请求的时间，因此它能够即时查看到你的应用程序是如何运作的。从客户端设备/ 浏览器记录的响应时间能够给你一个更全面的了解，因为它也捕捉在app/浏览器
分布式日志系统Graylog、Loki及ELK的分析和对比
qianshanding0708的博客
11-16 6816
更多内容关注微信公众号：fullstack888日志系列：企业级日志平台新秀Graylog，比ELK轻量多了日志系统新贵Loki，比ELK轻量多了1. 为什么需要集中的日志系统？在分布式系...
日志分析（一）：日志分析常用命令
架构专栏
04-10 1040
1.查看文件的内容 如果一个日志文件比较小，直接使用cat查看 cat -n 显示行号 2.分页显示文件 more命令。enter键显示下一行，空格键显示下一页，F显示下一屏，B显示上一屏。 3.显示文件尾 tail 命令可以看到文件最后几行，-n参数后面跟数字，表示显示文件最后几行。 4.显示文件头 head显示开头几行，-n参数指定显示开头几行 5.内容排序 sort对数据...
关于日志系统的一些看法
windmind2005的专栏
01-24 319
一个软件中，日志是我们跟踪软件运行状态不可缺少的工具。现在有许多开源日志系统供我们使用。我想从日志的输出方式中谈一下自己的看法。 1.GUI输出 比如Windows下的dbgview，或者自己写的一个GUI窗口输出，都算在这个类别下。 好处：直观，能实时观察软件内部的运行状态。 缺点：窗口系统占用一定的系统资源。 2.Console输出 一般情况下，用重定向的方式进行控制台输出也是很多
行为日志收集和性能分析
08-05
这涉及到对用户行为的深入理解以及系统性能的实时监控，以提供更好的用户体验和优化决策。OpenHarmony是一个开源的操作系统项目，它为开发者提供了丰富的工具集来支持这种分析工作。在OpenHarmony上进行行为日志收集...
性能测试诊断分析与优化
03-30
性能测试的主要目标包括：确定系统性能瓶颈、验证系统在预期负载下的稳定性、评估资源利用率和容量规划。常见的性能测试类型有负载测试、压力测试、耐久测试和并发测试等。 1. 负载测试：模拟正常或预期的工作负载...
磁盘性能分析Disk.pdf
03-28
解几个关键的概念，这些概念是分析磁盘性能的基础。 1. **IOPS（Input/Output Operations ...在实际工作中，结合实际的硬件配置、操作系统参数和应用特性，对这些指标进行深入理解并灵活运用，是提升系统性能的关键。
SkyWalking应用性能监控系统-其他
06-11
SkyWalking 是一款开源的应用性能监控系统，包括指标监控，分布式追踪，分布式系统性能诊断。功能：1、服务，服务实例，端点指标分析2、根本原因分析。在运行时分析代码。阅读Apache SkyWalking：使用性能分析来修复...
C++ 日志查看、分析、对比工具
01-09
对于开发者和运维人员来说，日志分析是诊断问题、优化性能和理解系统行为的关键步骤。"C++ 日志查看、分析、对比工具"就是一个专门针对这一需求而设计的应用。 该工具采用VC++编程语言，利用其强大的多文档界面...
第三方C++日志库Pantheios的性能评测
玄冬Wong
07-18 222
   需要翻越伟大的墙： http://www.pantheios.org/performance.html
linux日志文件优缺点,linux日志文件
weixin_35148943的博客
05-01 217
在本部分，我们追踪、处理和轮循日志，以增强系统安全，收集信息。成功地管理任何系统的关键之一,是要知道系统中正在发生什么事。Linux 中提供了异常日志，并且日志的细节是可配置的。Linux日志都以明文形式存储，所以您不需要特殊的工具就可以搜索和阅读它们。您还可以编写脚本，来扫描这些日志，并基于它们的内容去自动执行某些功能。Linux 日志存储在 /var/log 目录中。这里有几个由系统维护的日志...
muduo库的高性能日志库（四）——LogFile文件
m0_61705102的博客
11-19 1061
1. 在AppendFile类在构造时将文件的默认缓冲区设置为本地缓冲区 ```为什么要这样做？能带来什么样的性能优势？``` 2. AppendFile中写函数采用的是fwrite_unlock函数，非线程安全的写函数，在LogFile设计写的时候又设计成是否使用互斥锁，调用AppendFile中的append函数。 ```为什么不直接采用线程安全的fwite函数?这样的做的优势体现在哪？```
muduo库的高性能日志库（二）——LogStream文件
m0_61705102的博客
11-17 936
该文件下有三个类如下图所示复杂的C/C++代码很可能会包含错误，并且在编写代码后尝试对其进行测试类似于在大海捞针。一种更审慎的方法是通过添加专门针对特定区域的小型（单元）测试来测试编写的各个代码段，例如，一些计算密集型C函数或某些C++类声称对某个数据结构进行建模，例如队列。然后，以此理念构建的回归套件将具有单元测试的集合以及运行测试并报告结果的测试驱动程序。
在被线上大量日志输出导致性能瓶颈毒打了很多次之后总结出的经验
hashcon
10-27 2110
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WxuaWLGb-1635326195436)(https://zhxhash-blog.oss-cn-beijing.aliyuncs.com/%E5%9C%A8%E8%A2%AB%E7%BA%BF%E4%B8%8A%E5%A4%A7%E9%87%8F%E6%97%A5%E5%BF%97%E8%BE%93%E5%87%BA%E5%AF%BC%E8%87%B4%E6%80%A7%E8%83%BD%E7%93%B6%E9%A2%88
日志效率对比 -- log4j log42 logback
qq_28680991的博客
04-19 994
实例测试不同日志框架性能， 通过修改BaseLogInfo中的线程数和数据总数，可以测试不同量级情况下，性能的差距。 依赖： <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> ...
.Netcore之日志组件Log4net、Nlog性能比较
bifan546的博客
09-12 2292
.Netcore之Log4net、Nlog性能比较 最近在写一个开源.netcore web框架，需要一个高性能的日志组件。目前要从log4net、nlog二选一，大家应该都有了解，就不赘述了。 此文目的是比较log4net、nlog的文件写入性能（.netcore环境），涉及代码和配置如有不正确的地方，还请批评指正。楼主已经和日志杠上了。楼主是个喜欢写代码，不喜欢写文档的猿，多久才写一篇
单日志管理线程实现每秒百万级日志写入机制设计与实现
郝伟老师的博客——大数据、并行计算与人工智能时代
08-27 877
Logs.Length = 1048576 x 10 logs[0].Length = 60 Init: 530.61ms Save: 7714.36ms 130万条 60字节长度数据写入，文件大小 ：620MB Logs.Length = 1048576 x 10 logs[0].Length = 100 Init: 527.56ms Save: 9394.87ms 106万条 1000字节长度...
性能秒杀log4net的NLogger日志组件(附测试代码与NLogger源码)
weixin_33724659的博客
01-13 942
NLogger特点(200行代码的日志组件)： 一：不依赖于第三方插件和支持.net2.0 二：支持多线程高并发 三：支持读写双缓冲对列 四：自定义日志缓冲区大小 五：支持即时触发刷盘机制 六：先按日期再按文件大小RollingFile日志 七：支持日志存储位置，日志文件前缀的个性化定义 一：为什么要特别强调不依赖于第三方插件和支持.net2.0 NLogger包括名称空间也未超过200行代码，可...
基于Hadoop的流量日志分析系统.docx
最新发布
11-07
在系统实现与性能测试部分，作者介绍了实际的系统构建过程，以及通过性能测试验证Hadoop在处理大量流量日志时的效能。 最后，论文总结了研究的主要成果，指出了可能存在的问题和改进方向，并对未来的研究进行了展望...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值