asp.net core mcroservices 架构之 分布式日志（三）：集成kafka

最新推荐文章于 2024-09-03 22:06:56 发布
最新推荐文章于 2024-09-03 22:06:56 发布
阅读量138 收藏
点赞数
文章标签： json 大数据 运维
原文链接：http://www.cnblogs.com/ck0074451665/p/10211725.html
版权

 

  一 kafka介绍                               

           kafka是基于zookeeper的一个分布式流平台，既然是流，那么大家都能猜到它的存储结构基本上就是线性的了。硬盘大家都知道读写非常的慢，那是因为在随机情况下，线性下，硬盘的读写非常快。kafka官方文档，一直拿传统的消息队列来和kafka对比，这样大家会触类旁通更快了解kafka的特性。最熟悉的消息队列框架有ActiveMQ 和 RabbitMQ.熟悉消息队列的，最熟悉的特性就是队列和发布订阅功能，因为这是大家最常用的，kafka实现了一些特有的机制，去规避传统的消息队列的一些瓶颈，比如并发，rabbitMQ在多个处理程序下，并不能保证执行顺序，还是必须自己去处理独占，而kafka使用consumer group的方式，实现了可以多个处理程序处理一个topic下的记录。如图：

image

每个分区的记录保证能被每个组接受，这样可以并发去处理一个topic的记录，而且扩展组，则可以随意根据应用需求去扩展你的应用程序，但是每个组的消费者不能超过分区的数量。

kafka Distribution 提供了容错的功能，每一个partition都有一个服务器叫leader，还有零个或者一个以上的服务器叫follower，当这些follower都在同步数据的时候，leader扛起所有的写和读，当leader挂掉，follower会随机选取一个服务器当leader，当然必须有几个follower同步时 in-sync的。还有kafka虽然的那个记录具有原子性，但是并不支持事务。

因为这一篇并不是专门讲解kafka，所以点到为止。

  二     扩展服务 开发                          

     以前讲过，netcore的一个很重要的特性就是支持依赖注入，在这里一切皆服务。那么如果需要kafka作为日志服务的终端，就首先需要kafka服务，下面咱们就开发一个kafka服务。

首先，服务就是需要构建,这是netcore开发服务的第一步,我们首先建立一个IKafkaBuilder.cs接口类，如下：

 

homusing Microsoft.Extensions.DependencyInjection;

namespace Walt.Freamwork.Service
{
    public interface IKafkaBuilder
    {
         /// <summary>
        /// Gets the <see cref="IServiceCollection"/> where Logging services are configured.
        /// </summary>
        IServiceCollection Services { get; }
    }
}

再实现它,KafkaBuilder.cs

using Microsoft.Extensions.DependencyInjection;

namespace Walt.Freamwork.Service
{
    public class KafkaBuilder : IKafkaBuilder
    {
        public IServiceCollection Services {get;}

        public KafkaBuilder(IServiceCollection services)
        {
            Services=services;
        }
    }
}

再利用扩展方法为serviceCollection类加上扩展方法：

 using System;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.DependencyInjection.Extensions;
using Walt.Framework.Service.Kafka;

namespace Walt.Framework.Service
{
  
  
    public static class ServiceCollectionExtensions
    {
        /// <summary>
        /// Adds logging services to the specified <see cref="IServiceCollection" />.
        /// </summary>
        /// <param name="services">The <see cref="IServiceCollection" /> to add services to.</param>
        /// <returns>The <see cref="IServiceCollection"/> so that additional calls can be chained.</returns>
        public static IServiceCollection AddKafka(this IServiceCollection services)
        {
            return AddKafka(services, builder => { });
        }
 
        public static IServiceCollection AddKafka(this IServiceCollection services
        , Action<IKafkaBuilder> configure)
        {
            if (services == null)
            {
                throw new ArgumentNullException(nameof(services));
            }

            services.AddOptions(); 
            configure(new KafkaBuilder(services));
            services.TryAddSingleton<IKafkaService,KafkaService>();  //kafka的服务类
            return services;
        }
    }
}
KafkaService的实现：
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using Confluent.Kafka;
using Microsoft.Extensions.Options;

namespace  Walt.Framework.Service.Kafka
{
    public class KafkaService : IKafkaService
    {

        private KafkaOptions _kafkaOptions;
        private Producer _producer;
        public KafkaService(IOptionsMonitor<KafkaOptions>  kafkaOptions)
        {
            _kafkaOptions=kafkaOptions.CurrentValue; 
            kafkaOptions.OnChange((kafkaOpt,s)=>{
                _kafkaOptions=kafkaOpt; 
                    System.Diagnostics.Debug
                    .WriteLine(Newtonsoft.Json.JsonConvert.SerializeObject(kafkaOpt)+"---"+s);
                    
            });
             _producer=new Producer(_kafkaOptions.Properties);
        }

        private byte[] ConvertToByte(string str)
        {
            return System.Text.Encoding.Default.GetBytes(str);
        }
 
        public  async Task<Message> Producer(string topic,string key,string value)
        {  
            if(string.IsNullOrEmpty(topic)
            ||string.IsNullOrEmpty(value))
            {
                throw new ArgumentNullException("topic或者value不能为null.");
            }
      
           var task=  await _producer.ProduceAsync(topic,ConvertToByte(key),ConvertToByte(value)); 
           return task;
        }
 
    }
}

 

那么咱们是不是忘记什么了，看上面的代码，是不是那个配置类KafkaOptions 还没有说明？

在image这个位置添加kafka的配置类KafkaConfigurationOptions：

using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.Options;
using Walt.Freamwork.Service;

namespace Walt.Freamwork.Configuration
{
    public class KafkaConfigurationOptions : IConfigureOptions<KafkaOptions>
    {

        private readonly IConfiguration _configuration;


        public KafkaConfigurationOptions(IConfiguration configuration)
        {
           _configuration=configuration;
        }


        public void Configure(KafkaOptions options)
        {
                //这里仅仅自定义一些你自己的代码，使用上面configuration配置中的配置节，处理程序没法自动绑定的
                  一些事情。
        }
    }
}

然后，将配置类添加进服务:

using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.DependencyInjection.Extensions;
using Microsoft.Extensions.Options;
using Walt.Framework.Service;

namespace Walt.Framework.Configuration
{
    public static class KafkaConfigurationExtensioncs
    {
          public static IKafkaBuilder AddConfiguration(this IKafkaBuilder builder
          ,IConfiguration configuration)
          {
               
                InitService( builder,configuration); 
                return builder;
          }


          public static void InitService(IKafkaBuilder builder,IConfiguration configuration)
          {
            builder.Services.TryAddSingleton<IConfigureOptions<KafkaOptions>>(
                  new KafkaConfigurationOptions(configuration));  //配置类和配置内容

            builder.Services.TryAddSingleton
            (ServiceDescriptor.Singleton<IOptionsChangeTokenSource<KafkaOptions>>(
                  new ConfigurationChangeTokenSource<KafkaOptions>(configuration)) );//这个是观察类，如果更改，会激发onchange方法

            builder.Services
            .TryAddEnumerable(ServiceDescriptor.Singleton<IConfigureOptions<KafkaOptions>>
            (new ConfigureFromConfigurationOptions<KafkaOptions>(configuration))); //这个是option类，没这个，配置无法将类绑定
            
             builder.Services.AddSingleton(new KafkaConfiguration(configuration));
          }
    }
}

 

ok,推送nuget，业务部分调用。

  三     kafka服务调用                          

在project中引用然后restore：

image

引入命名空间：

image

调用：

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Threading.Tasks;
using Microsoft.AspNetCore;
using Microsoft.AspNetCore.Hosting;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging; 
using Newtonsoft.Json;
using Walt.Framework.Log;
using Walt.Framework.Configuration;
using Walt.Framework.Service;

namespace Walt.TestMcroServoces.Webapi
{
    public class Program
    { 
        public static void Main(string[] args)
        { 
             
            var host = new WebHostBuilder()
            .ConfigureAppConfiguration((hostingContext, configContext) =>{
                 var en=hostingContext.HostingEnvironment;
                 if(en.IsDevelopment())
                 {
                     configContext.AddJsonFile($"appsettings.{en.EnvironmentName}.json");
                 }
                 else
                 {
                     configContext.AddJsonFile("appsettings.json");
                 }
                   configContext.AddCommandLine(args)
             .AddEnvironmentVariables()
             .SetBasePath(Directory.GetCurrentDirectory()).Build(); 
              
            }).ConfigureServices((context,configureServices)=>{
                   configureServices.AddKafka(KafkaBuilder=>{
                    KafkaBuilder.AddConfiguration(context.Configuration.GetSection("KafkaService"));
                   });
            })   //kafka的调用。
            .ConfigureLogging((hostingContext, logging) => {
 
                logging.AddConfiguration(hostingContext.Configuration.GetSection("Logging"))
                .AddCustomizationLogger();

            }).UseKestrel(KestrelServerOption=>{
                KestrelServerOption.ListenAnyIP(801);
            })
            .UseStartup<Startup>().Build(); 
            host.Run(); 
            Console.ReadKey();
        }
    }

}

 

然后提交git，让jenkins构建docker发布运行：

jenkin是是非常牛的一款构建工具，不仅仅根据插件可以扩展不同环境，还支持分布式构建.

 

image

这是我们用jenikins构建的的：

image然

让它跑起来：

image

调用看看：

image

这个方法是输出Properties数组的，这个配置结构只是演示，后面的结构要变，因为要放kafka的配置，比如连接服务ip等，

改动也很简单，在配置好configuration和service后，改动这个类KafkaOptions和配置文件中kafka节点中的json结构就行。：

image

 

 

  四 集成kafka                         

kafka的接口不多，看看都有那些：

https://docs.confluent.io/current/clients/confluent-kafka-dotnet/api/Confluent.Kafka.Producer.html

image

Consumer和Producer是咱们发布消息和消费消息的两个主类,代码在上文已经实现的service。

客户端代码：

使用my-replicated-topic-morepart这儿topic，还是希望多分区，因为后面consumer使用分布式计算读取。

image

consumer先在客户端监听：

image

product端的调用代码：

image

执行这个接口后，再看consumer接收到的消息：

image

最后一步，将咱们kafka日志部分替换为真实的kafka环境,看结果：

image

那么最后的配置是这样的：

 

{
  "Logging": {
    "LogLevel": {
      "Default": "Debug",
      "System": "Debug",
      "Microsoft": "Debug"
    },
    "KafkaLog":{
      "Prix":"这是我的自定义日志提供程序"
    }
  },
  "KafkaService":{
    "Properties":{
      "bootstrap.servers":"192.168.249.106:9092"
    }
  }
}

 

log使用这个kafka服务就很简单了，在前面文章中实现的log扩展类中，直接构造函数注入这个kafkaService，就可以以使用了。

 

转载于:https://www.cnblogs.com/ck0074451665/p/10211725.html

weixin_30329623
关注
.NET Core 下使用 Kafka
阿星Plus
09-18 1907
安装CentOS 安装 kafkaKafka : http://kafka.apache.org/downloadsZooLeeper : https://zookeeper.apach...
ASP.NET Core分布式日志系统ELK实战演练
跟着阿笨一起玩NET
07-10 847
一、ELK简介 ELK是Elasticsearch、Logstash和Kibana首字母的缩写。这三者均是开源软件，这三套开源工具组合起来形成了一套强大的集中式日志管理平台。 •Elasticsearch 分布式搜索和分析引擎。具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。 •Logstash 日志收集器。...
asp.net core mcroservices 架构之 分布式日志（一）
weixin_30496431的博客
12-19 375
一 简介 无论是微服务还是其他任何分布式系统，都需要一个统一处理日志的系统，这个系统 必须有收集，索引，分析查询的功能。asp .net co...
ASP.NET Core 入门教学九 集成kafka
最新发布
Life is not divided
09-03 863
在ASP.NET Core中集成Kafka可以通过使用Kafka客户端库来实现。以下是一个基本的步骤指南，帮助你在ASP.NET Core项目中集成Kafka。
asp 采集系统_ASP.NET Core分布式日志收集框架Exceptionless实战演练
weixin_39940913的博客
11-27 265
一、课程介绍在以前，我们做日志收集大多使用 Log4net，Nlog 等框架，在应用程序变得复杂并且集群的时候，可能传统的方式已经不是很好的适用了，因为收集各个日志并且分析他们将变得麻烦而且浪费时间。相信大家的项目中日志功能已经做为基础设施里必不可少的一部分了，日志记录不仅可以更好的记录用户行为，还可以记录系统运行日志，从而看到判断系统运行的健壮性。为了解决实时日志监控问题，ELK提供的...
asp.net core mcroservices 架构之 分布式日志（二）之自定义日志开发
weixin_30344795的博客
12-25 264
netcore日志原理 netcore的日志是作为一个扩展库存在的，每个组件都有它的入口，那么作为研究这个组件的入口是...
C# .net core开发的分布式游戏服务端
08-13
《C# .NET Core开发的分布式游戏服务端详解》 在现代的游戏开发中，服务端架构的选择至关重要，它直接影响到游戏的稳定性和可扩展性。本文将深入探讨使用C# .NET Core技术栈构建的分布式游戏服务端，揭示其背后的...
KafkaNetCore:ASP.NET Core 5.0和KAFKA
03-25
**KafkaNetCore：ASP.NET Core 5.0与Kafka的整合** 在现代微服务架构中，消息队列和流处理系统起着至关重要的作用，而Apache Kafka就是这样一种高效、可扩展的消息中间件。本项目`KafkaNetCore`专注于在ASP.NET ...
.NET CORE 分布式事务(四) CAP实现最终一致性
m0_59178355的博客
03-30 2165
在分布式系统中，事务管理是确保数据一致性和系统稳定性的关键技术。传统的集中式事务处理模型（如两阶段提交协议）在分布式环境中面临诸多挑战，包括性能瓶颈、单点故障和扩展性问题。为了解决这些问题，最终一致性模型被提出并广泛应用于分布式事务处理中。最终一致性（Eventual Consistency）是一种分布式系统的数据一致性模型，它不要求数据在每个时刻都保持一致，而是允许数据在短时间内不一致，但保证在一定时间后，所有节点上的数据会达到一致状态。这种模型降低了对即时一致性的要求，从而提高了系统的可用性和扩展性。
基于Asp.Net Core 6的微服务开发模板.zip
11-02
Asp.Net Core 6的微服务模板通常包含必要的依赖和服务，如身份验证、日志记录、配置管理等，以简化开发流程。 【标签】：“C#” C#是微软开发的一种面向对象的编程语言，与.NET框架紧密集成，也是Asp.Net Core的...
.NET CORE 代码使用kafka推送数据
05-19
.net core 使用kafka推送消息和接收消息，包含生产端和消费端
.NET Core下使用Kafka的方法步骤
10-14
主要介绍了.NET Core下使用Kafka的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
asp.Net Core免费开源分布式异常日志收集框架的基本使用
用智慧创新技术，用技术改变未来
01-30 1123
最近两天发现 Core免费开源分布式异常日志收集框架Exceptionless 听说很牛,所以今天计划试一下。 Exceptionless是什么？能做什么呢？ “Exceptionless”这个词的定义是：没有异常。Exceptionless可以为您的ASP.NET、Web API、WebFrm、WPF、控制台和MVC应用程序提供实时错误、特性和日志报告。它将收集的信息组织成简单的可操作的数据...
.Net Core 集成 Kafka
极客神殿
05-18 1165
最近维护的一个系统并发有点高，所以想引入一个消息队列来进行削峰。考察了一些产品，最终决定使用kafka来当做消息队列。以下是关于kafka的一些知识的整理笔记。 kafka kafka 是分布式流式平台。它由linkedin开发，后贡献给了Apache开源组织并成为顶级开源项目。它可以应用在高并发场景下的日志系统，也可以当作消息队列来使用，也可以当作消息服务对系统进行解耦。 流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好
.NET Core Web API项目简单集成kafka
weixin_50384980的博客
05-31 447
这段代码保证我们启动原本的API服务并将kafka集成到里里面，我有通过Jmeter测试过，如果是没有集成过kafka，我通过Jmeter1秒请求2000次大概会出现40-50次请求出错，集成之后2000轻松搞定不会出错，这次也是我初次使用kafka用来做一个类似高并发的实现，如有其他问题欢迎各位指正。在解压后的文件夹中进入/bin/windows/ 在该目录下运行一个命令提示框并输入指令。在解压后的文件夹中进入/bin/windows/在该目录下运行一个命令提示框输入指令。
core net 消费kafka_Kafka在ASP.Net Core上的应用
weixin_32924297的博客
12-31 346
ASP.Net Core中使用的最多的是Confluent.Kafka这个包,以下用实例展示应用1.下载Nuget包​首先是下载Confluent.Kafka这个包2.创建Producer消息生产者发送者public class KafkaProducer{public static async Task SendAsync(string topic, T value) where T: Kafk...
TiDB分布式Binlog架构优化：从Kafka到新解决方案
然而，由于TiDB的分布式特性，它需要处理来自多个TiDB实例的binlog，并确保这些日志按照事务提交的时间顺序进行整合和传播。在早期版本中，TiDB-Binlog经历了架构上的多次迭代，最终选择了Kafka作为主要的通信媒介。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值