分布式框架DSF的搭建

最新推荐文章于 2024-05-07 16:19:37 发布
置顶 最新推荐文章于 2024-05-07 16:19:37 发布
阅读量1.6w 收藏 8
点赞数
分类专栏： 框架整合 文章标签： dsf 分布式 zookeeper 华为
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34413570/article/details/70740000
版权

首先声明，这个框架是华为公司开发的，原理是服务端发布服务去zookeeper注册，客户端去zookeeper注册中心调用服务端发布的服务，小弟才疏学浅，只是研究了一个demo出来，供大家互相学习


框架搭建完成就是这个样子的

1、首先我们导入jar包


一个57个jar包

2、dsf.properties

############################################
# DSF Core Configuration
############################################
# dsf app name, keep unique in distributed system
dsf.appname=dsf
# dsf global service timeout in millis
dsf.service.timeout=3000
# core size for dsf handle service request thread pool 
dsf.worker.core.size=20
# max size for dsf handle service request thread pool 
dsf.worker.max.size=100
# queue size for dsf handler service request thread pool 
dsf.worker.queues=1000000


############################################
# DSF Fail Policy Configuration
############################################
# dsf request fail policy
dsf.service.failpolicy=failfast
############################################
# DSF Fail Over Policy Configuration
############################################
dsf.resend.times=3


# dsf timeout configuraion
dsf.client.request.resend.interval=1
dsf.client.request.resend.times=0


############################################
# DSF Registry Configuration
############################################
dsf.registry.name=zk
dsf.registry.default=zk
############################################
# DSF ZK Registry Configuration
############################################
dsf.registry.zk.type=zookeeper
dsf.registry.zk.connector=DsfZKClient


############################################
# DSF Protocol Configuration
############################################
dsf.protocol.name=dsf
dsf.protocol.default=dsf
############################################
# DSF TCP Protocol Configuration
############################################
# dsf tcp protocol type
dsf.protocol.tcp.type=dsf
# dsf tcp protocol listen address, this address must be server address
dsf.protocol.tcp.address=192.168.99.85:20111
# max size for dsf tcp protocol acceptor thread pool
dsf.protocol.tcp.threads=1
# queue size for dsf tcp protocol acceptor thread pool
dsf.protocol.tcp.accepts=100
# max size for dsf tcp protocol io thread pool
dsf.protocol.tcp.iothreads=20
# queue size for dsf tcp protocol io thread pool
dsf.protocol.tcp.queues=1000000
# async request waiting quque size for dsf tcp protocol
dsf.protocol.tcp.async.queues=800000
# determine whether dsf tcp protocol iplimit enabled
dsf.protocol.tcp.iplimit.enable=false
# dsf tcp protocol iplimit whiltelist 
#dsf.protocol.tcp.iplimit.whitelist=*
# dsf tcp protocol iplimit blacklist
#dsf.protocol.tcp.iplimit.blacklist=
# dsf tcp protocol heartbeat interval in seconds
dsf.protocol.tcp.heartbeat.interval=5
# dsf tcp protocol heartbeat lost count
dsf.protocol.tcp.heartbeat.lostcount=5
# max size for dsf tcp protocol client io thread pool
dsf.protocol.tcp.client.iothreads=1
# queue size for dsf tcp protocol client io thread pool
dsf.protocol.tcp.client.queues=100000
# dsf tcp protocol client reconnect interval in seconds
dsf.protocol.tcp.client.reconnect.interval=3
# dsf tcp protocol client first connect wait time  in millis
dsf.protocol.tcp.client.connect.firstwait=2000

############################################
# DSF Statistic Configuration
############################################
dsf.statistic.delay.enable=false

############################################
# DSF Monitor Configuration
############################################
# dsf time delay monitor time interval in seconds
dsf.monitor.time.interval=30

############################################
# DSF Default Route Policy
############################################
# dsf global route policy, available: poll, random, serviceDelayTimeRouter
dsf.router.default=poll
dsf.router.poll.localpriority=false
############################################
# DSF Default trace switch
############################################
dsf.trace.switch=true
dsf.sampleRate=1


dsf.logTraceSwitch=false

dsf.worker.group.size=4

dsf.protocol.tcp.client.group.size=6
dsf.log.time.queue.threshold=200
dsf.log.time.msg2buffer.threshold=300
dsf.log.time.threshold=500


#zk config
zk.server.url=192.168.99.115:2181
#usf port
rpc.address=192.168.99.115:7115


############################################
# DSF threadpool monitor config
############################################
threadpool.monitor.switch=true
# unit(s)
threadpool.monitor.interval=30
zk.auth.switch=off
authentication.enable=false


#dsf.root.dir=/dsf/wxy


3、server.dsf.xml

<?xml version='1.0' encoding='UTF-8'?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
       xmlns:util="http://www.springframework.org/schema/util" xmlns:dsf="http://www.huawei.com/schema/dsf"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-3.0.4.xsd
        http://www.springframework.org/schema/util
        http://www.springframework.org/schema/util/spring-util-3.0.xsd
        http://www.huawei.com/schema/dsf
        http://www.huawei.com/schema/dsf/spring-dsf-1.0.xsd">


    <!-- 将服务A的实现声明为一个Spring Bean -->
    <bean id="ServiceAimpl" class="com.dsf.service.SeriviceAimpl" />


    <!-- 通过dsf:exporter 标签发布服务 -->
    <!-- name:服务名，必选。    -->
    <!-- interface:先前定义的服务接口 -->
    <!-- ref:引用上面由服务实现声明的Spring Bean-->
    <dsf:exporter name="ServiceA"
                  interface="com.dsf.service.ServiceA" ref="ServiceAimpl" />


</beans>


4、client.dsf.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
       xmlns:util="http://www.springframework.org/schema/util" xmlns:dsf="http://www.huawei.com/schema/dsf"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-3.0.4.xsd
        http://www.springframework.org/schema/util
        http://www.springframework.org/schema/util/spring-util-3.0.xsd
        http://www.huawei.com/schema/dsf
        http://www.huawei.com/schema/dsf/spring-dsf-1.0.xsd">




    <!-- 服务导入定义 -->
    <!-- name：本地Spring框架中的Bean名称 -->
    <!-- interface: 服务接口的名称 -->
    <!-- service-name: 服务名，需要和Server端发布服务时，dsf:exporter标签中的name属性一致 -->
    <dsf:importer name="ServiceAInDsfClientAPP"
                  interface="com.dsf.service.ServiceA" service-name="ServiceA" />
</beans>


5、log4j.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">


<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/'>


<appender name="STDOUT" class="org.apache.log4j.ConsoleAppender">
<layout
class="com.huawei.bme.commons.log4j.BMEPatternLayout">
<param name="ConversionPattern"
value="%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>

<appender name="SPRING"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/spring.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout
class="com.huawei.bme.commons.log4j.BMEPatternLayout">
<param name="ConversionPattern"
value="%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}|%X{fullInfo} %n" />
</layout>
</appender>


<appender name="USF"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/usf.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern"
value="%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>


<appender name="ZK"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/zk.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern"
value="%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>


<appender name="THREADPOOL_MONITOR"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/threadpool_monitor.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern"
value="%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>

<appender name="SLOW_SERVICE"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/slow_service.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern"
value="%d|%X{moduleName}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>


<appender name="ZOOKEEPER"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/zookeeper.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern"
value="%d{yyyy-MM-dd HH:mm:ss.SSS} | %p | ZOOKEEPER | [%t]%m | %l%n" />
</layout>
</appender>


<appender name="REMOTING"
class="com.huawei.bme.commons.util.BMERollingFileAppender">
<param name="File" value="logs/local/remoting.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout
class="com.huawei.bme.commons.log4j.BMEPatternLayout">
<param name="ConversionPattern"
value="%t|%d|%X{level}|%X{moduleName}|%X{traceID}|%m|%X{appendInfo}|%X{exceptionMessage}| %X{fullInfo} %n" />
</layout>
</appender>
<appender name="REMOTING_NETTY"
class="com.huawei.bme.commons.util.BMERollingFileAppender">


<param name="File" value="logs/local/remoting.log" />
<param name="MaxFileSize" value="10MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%t|%d|%p|NETTY|%m| %l%n" />
</layout>
</appender>

<appender name="TRACELINK"
class="com.huawei.bme.commons.trace.util.TraceRollingFileAppender">
<param name="File" value="logs/local/tracelink.log" />
<param name="MaxFileSize" value="100MB" />
<param name="MaxBackupIndex" value="10" />
<layout class="com.huawei.bme.commons.trace.log4j.TracePatternLayout">
            <param name="ConversionPattern"
                value="&lt;&lt;&lt;%X{traceID}|%X{calledNodeID}|%X{calledClusterId}|%X{calledIP}|%X{callingNodeID}|%X{callingIP}|%X{flag}|%X{appName}|%X{subSysName}|%X{protocol}|%X{beginTime}|%X{endTime}|%X{reqMsgSize}|%X{rspMsgSize}|%X{resultCode}|%X{resultInfo}|%X{seqNo}|%X{CallNumber}|%X{extendInfo}|%X{PlatformExtendInfo}|%X{CodeStream}&gt;&gt;&gt; %n" />
        </layout>
</appender>


<appender name="ASYNC_TRACELINK" class="com.huawei.bme.commons.trace.AsyncTraceAppender">
<param name="BufferSize" value="2048" />
<appender-ref ref="TRACELINK" />
</appender>

    <category name="TraceLink@com.huawei.bme">
<priority value="INFO" />
<appender-ref ref="TRACELINK" />
</category>

<category name="AsyncTraceLink@com.huawei.bme">
<priority value="INFO" />
<appender-ref ref="ASYNC_TRACELINK" />
</category>




<category name="org.springframework">
<priority value="ERROR" />
<appender-ref ref="SPRING" />
</category>


<category name="org.springframework.osgi ">
<priority value="ERROR" />
<appender-ref ref="SPRING" />
</category>


<category name="com.huawei.csc.usf.framework">
<priority value="ERROR" />
<appender-ref ref="USF" />
</category>

<category name="com.huawei.csc.usf.adapter.dsf">
<priority value="ERROR" />
<appender-ref ref="USF" />
</category>

<category name="com.huawei.csc.usf.registry.zk">
<priority value="DEBUG" />
<appender-ref ref="ZK" />
</category>


<category name="default_threadpool_monitor_handler">
<priority value="ERROR" />
<appender-ref ref="THREADPOOL_MONITOR" />
</category>

<category name="slowService">
<priority value="ERROR" />
<appender-ref ref="SLOW_SERVICE" />
</category>

<category name="org.apache.zookeeper">
<priority value="DEBUG" />
<appender-ref ref="ZOOKEEPER" />
</category>


<category name="com.huawei.csc.remoting" additivity="false">
<priority value="ERROR" />
<appender-ref ref="REMOTING" />
</category>


<category name="io.netty" additivity="false">
<priority value="ERROR" />
<appender-ref ref="REMOTING_NETTY" />
</category>


<root>
<priority value="INFO" />
<appender-ref ref="STDOUT" />
</root>

</log4j:configuration>

6、web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns="http://java.sun.com/xml/ns/javaee"
           xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
           xsi:schemaLocation="http://java.sun.com/xml/ns/javaee
 http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
           version="2.5">


    <context-param>
        <param-name>contextConfigLocation</param-name>
        <param-value>
           classpath*:META-INF/spring/server.dsf.xml
            classpath*:META-INF/spring/*.service.xml
        </param-value>
    </context-param>




    <listener>
        <listener-class>com.huawei.bme.container.control.ContainerContextLoaderListener</listener-class>
    </listener>




    <filter>
        <filter-name>encodingFilter</filter-name>
        <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
        <init-param>
            <param-name>encoding</param-name>
            <param-value>UTF-8</param-value>
        </init-param>
    </filter>


    <session-config>
        <session-timeout>10</session-timeout>
    </session-config>
</web-app>

完整demo下载地址：http://download.csdn.net/detail/qq_34413570/9825042

一个前行者
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
DSF分布式服务框架设计.pptx
10-14
DSF分布式服务框架设计.pptx
华为BME框架
LittleCadet
03-15 3594
bme框架中usf.properties:    1.zk服务器的地址      zk.server.url=100.106.25.124:2181   2.dsf的接口鉴权       dsf.authentication.enable-false  3.dsf到zk的响应时间      dsf.zk.session.timeout=200000      dsf.zk.center.timeo...
分布式文件系统研究-fastDSF架构介绍
Leon_Jinhai_Sun的博客
04-04 356
什么是fastDFS fastDSF介绍 FastDFS是用c语言编写的一款开源的分布式文件系统，它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 为什么要使用fastDFS呢？ 上边介绍的NFS、GFS都是通用的分...
多点生活的分布式服务框架DSF
carrots
12-13 918
编者按：J2EE异军突起之时，那些2层架构（web+后端）的人必定是崩溃的；而后spring以without ejb革命了，现在spring已渐成全家桶之势。SOA概念兴起之时，ESB相关的厂商大赚，而今老马又携微服务而来，受益者包括企业软件厂商，各云平台厂商等，眼花缭乱渐迷眼，各领风骚好几年！多点生活架构师陈泽洪本着【少谈些概念、多解决问题】的原则给我们分享他们用几个月完成的这一套分布式服务框架...
duboo分布式狂框架demo
03-28
启动前注意。必须要启动zookeeper。没有zookeeper。请下载一个zookeeper，然后再启动
DBF框架
thinkingdo的专栏
05-04 1121
什么是BDF ? （BstekDevelopment Framework 简称 BDF），是一套以Spring3为基础以 Dorado7 为表现层的轻量级企业应用开发框架，提供诸如权限控制、流程引擎、WebService发布与调用、任务调度、多数据源切换等企业应用常见的功能。 BDF中各个功能模块采用松耦合模式开发，相互之间没有依赖关系，如果您采用BDF开发您的应用，那么可以按需添加B...
DSF框架使用（DAO、序列化、注解、服务接口、服务代理）
CT_1104的专栏
07-27 7195
DSF、序列化、注解、服务接口、服务代理
基于Spring-DM实现分布式服务框架(DSF)(一)
autoinspired的专栏
07-16 3080
 基于Spring-DM实现分布式服务框架(DSF)(一) 发布时间:2008年01月29日 作者:BlueDavy阅读次数:448次 类别:OSGi、SCA 永久链接 Trackback 经过上篇分析分布式服务框架的blog后，正式对之前的基于OSGi实现分布式服务框架的系列改名(顺便把分布式服务框架改为使用DSF缩写)，因为已经决定基
springboot 接入cas-client-core单点登录
an74520的专栏
12-13 5725
1.maven引入相关包 <dependency> <groupId>net.unicon.cas</groupId> <artifactId>cas-client-autoconfig-support</artifactId> <version>1.4.0-GA</version> </de...
DSF分布式服务框架
热门推荐
weixin_41024458的博客
11-26 1万+
发布服务： 在basic层发布服务 服务是：@Service(&amp;amp;quot;dataAuthorizationService&amp;amp;quot;) 在spring-dsf-exporter.xml配置文件中发布服务配置： &amp;amp;amp;lt;dsf:exporter name=&amp;amp;quot;dataAuthorizationServiceFacade&amp;amp;quot; interface=&
DSF分布式服务框架设计PPT课件.pptx
10-07
DSF分布式服务框架设计PPT课件.pptx
DSF分布式框架demo
04-25
华为DSF分布式框架做了一个小demo，供大家参考学习
分布式框架zookeeper
08-07
NULL 博文链接：https://mm-linbin.iteye.com/blog/2101579
ServiceComb微服务开发框架介绍
华为云官方博客
07-02 7610
【摘要】 本文根据2018-10-20北京OSCAR开源先锋日演讲内容整理。重点介绍了ServiceComb的项目开源背景、项目组成以及每个项目的核心设计。通过介绍ServiceComb的核心治理能力和一个实际的房屋抢购系统例子，介绍了ServiceComb如何助力开发者轻松的实现微服务开发。 本文根据2018-10-20北京OSCAR开源先锋日演讲内容整理。 ServiceComb项目背景和...
zookeeper注册中心的安装及使用
苦行僧
09-06 2012
zookeeper注册中心：  可以作为集群的管理工具使用。 可以集中管理配置文件。   注册中心负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小。使用dubbo-2.3.3以上版本，建议使用zookeeper注册中心。 Zookeeper是Apacahe Hadoop的子项目，是一个树型的目录服务，支持变更推送，适合作为D...
zookeeper安装包_分布式实战：Kafka和Zookeeper集群
weixin_39575054的博客
12-12 185
本文首发于Ressmix个人站点：https://www.tpvlog.com由于后续的应用服务依赖于分布式消息中间件和Zookeeper，所以本章我将先带领大家搭建Zookeeper集群和Kafka集群。本章搭建的Zookeeper和Kafka集群都是3个节点，部署在ressmix-dsf01、ressmix-dsf02、ressmix-dsf03这三台机器上。一、Zookeeper集...
快速学习-fastDFS入门
逍遥云恋
01-07 431
3 fastDFS入门 3.1 fastDFS安装与配置 3.1.1 导入虚拟机 使用Vmware打开虚拟机配置文件“CentOS 7 64 位.vmx”，提示如下图： 选择“我已复制该虚拟机” 启动虚拟机之前启动VMware的服务： 修改网卡的IP地址为101网段。 修改虚拟机网络配置 修改VMnet8的子网IP为101.0。 DHCP配置： 启动虚拟机 用...
开源代码分享(28)-含分布式光伏的配电网集群划分和集群电压协调控制
最新发布
配电网和matlab的博客
05-07 1049
针对配电网中高渗透率分布式光伏接入引起的电压越限问题，本文提出了一种基于网络划分的双层电压控制策略，通过优化光伏变流器的有功和无功输出功率实现光伏发电损失和线路有功损耗最小的优化目标。基于社团检测算法，本文提出了综合考虑电气距离和区域电压调节能力的集群性能指标和网络划分方法。在集群划分基础上，本文提出包含群内自治优化和群间分布式协调的双层电压控制策略，利用其在不同时间尺度上的配合实现了配电网全局电压的快速优化控制。集群自治优化控制通过交替更新群内最优解和虚拟平衡节点电压实现群内电压的实时快速控制。
SimpleDateFormat dsf
03-20
SimpleDateFormat是Java中的一个日期格式化类，用于将日期对象按照指定的格式转换成字符串，或者将字符串按照指定的格式解析成日期对象。 SimpleDateFormat类的构造方法可以接受一个日期格式的字符串作为参数，该字符串定义了日期的格式。常用的日期格式包括： - "yyyy"：表示四位数的年份，如2022 - "MM"：表示两位数的月份，如01表示一月 - "dd"：表示两位数的日期，如01表示一号 - "HH"：表示两位数的小时，使用24小时制 - "mm"：表示两位数的分钟 - "ss"：表示两位数的秒钟 除了上述常用的格式之外，还可以使用其他字符来定义更复杂的日期格式，例如： - "yyyy-MM-dd"：表示年-月-日的格式，如2022-01-01 - "yyyy/MM/dd HH:mm:ss"：表示年/月/日 小时:分钟:秒钟的格式，如2022/01/01 12:00:00 使用SimpleDateFormat类可以进行日期对象和字符串之间的相互转换。例如，可以使用format()方法将日期对象格式化成字符串，或者使用parse()方法将字符串解析成日期对象。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值