服务器技术
文章平均质量分 91
burpee
这个作者很懒,什么都没留下…
展开
-
jdk8
一、Java 8 Lambda 表达式Lambda 表达式,也可称为闭包,它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数(函数作为参数传递进方法中)。使用Lambda 表达式可以使代码变的更加简洁紧凑。1.1 语法lambda 表达式的语法格式如下:(parameters) -> expression或(parameters) ->{statements; }以下是lambda表达式的重要特征:·可选类型声明...转载 2020-12-29 12:39:15 · 356 阅读 · 0 评论 -
CRM模型及改造
1、现状2、改造点:3、应用架构4、目标原创 2020-12-07 08:51:43 · 630 阅读 · 0 评论 -
2020-12-04
需求:从证件会的网站,下载excel文件,然后解析excel文件,生成数据落地odps实现方案:1、每周自动下载附件2、python把附件上传至oss3、读取oss文件,解析导入odps1-自动下载附件接触一个新工具 UiBot,如下图:结果:下载到固定文件夹:以8位日期命名2.python把附件上传至oss(2.7)运行结果:3.python解析文件落数据至ODPS结果:...原创 2020-12-04 15:20:35 · 287 阅读 · 0 评论 -
消息队列
原文地址:https://blog.csdn.net/Jack__iT/article/details/87655433消息中间件用于处理异步消息优点:系统解耦、异步、横向扩展、安全可靠,保存消息直到消息调用完全部服务处理完后什么是中间件?非底层操作系统软件,非业务应用软件,不是直接给最终用户使用的,不能直接给客户带来价值的软件统称为中间件。什么消息中间件?关注于数据的发送和接收,利用高效可靠的异步消息传递机制集成分布式系统什么是JMSJMS即java消息服务(java转载 2020-10-22 09:24:35 · 108 阅读 · 0 评论 -
XXX对账单的定时发送-odps-python-dataworks
需求:方案时序图:实现过程1、抽取订阅消息的人员名单 datax2、计算范围内的结果数据3、编写py的资源,注册函数以py类的方式封装udf方法注册成udf函数利用udf把数据封装成json数据封装到最终结果表udf封装函数4、调用接口,发送对账单...原创 2020-10-21 11:31:59 · 407 阅读 · 1 评论 -
消息队列JMS
什么是JMS?JMS的诞生史?在JMS还没有诞生前,每个企业都会有自己的一套内部消息系统,比如项目组A需要调用到项目组B的系统,项目组B也有可能会调用到项目组C的系统。这样每个公司都有自己的一套实现。很不规范,所以Apache基金会,为企业消息产品专门定义了一套规范。我们可以把JMS当作是一系列接口及相关语义的集合,通过这些接口和语义定义了JSM客户端如何去访问消息系统。简单点来说就是JM转载 2016-09-06 09:10:14 · 825 阅读 · 0 评论 -
每秒处理10万的架构
随着乐视硬件抢购的不断升级,乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环,保证用户快速稳定的完成支付尤为重要。所以在15年11月,我们对整个支付系统进行了全面的架构升级,使之具备了每秒稳定处理10万订单的能力。为乐视生态各种形式的抢购秒杀活动提供了强有力的支撑。 一、库分表 在redis,memcached等缓存系统盛行的互联网时代,构建一个支撑每秒十万只读的系转载 2016-09-04 08:26:56 · 6230 阅读 · 3 评论 -
系统架构的学习
http://blog.csdn.net/yinwenjie/article/category/5585451转载 2016-09-14 16:34:58 · 267 阅读 · 0 评论 -
MQ框架
http://blog.csdn.net/linsongbin1/article/details/47781187MQ框架非常之多,比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个?要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。第一部分:RabbitMQ,ActiveMq,ZeroMq比较转载 2016-09-14 16:21:36 · 930 阅读 · 0 评论 -
理解 AMQP协议
当前各种应用大量使用异步消息模型,并随之产生众多消息中间件产品及协议,标准的不一致使应用与中间件之间的耦合限制产品的选择,并增加维护成本。AMQP是一个提供统一消息服务的应用层标准协议,基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同开发语言等条件的限制。 当然这种降低耦合的机制是基于与上层产品,语言无关的协议。AMQP协议是一种二进制协议,提供客户端应用与消息转载 2016-09-14 13:58:02 · 6618 阅读 · 0 评论 -
java性能优化
http://blog.csdn.net/kid_2412/article/details/52490757性能参考指标:执行时间: 程序从开始到结束的执行时间。CPU时间: 函数或者线程占用的cpu时间。内存分配: 程序运行期间所占内存。磁盘吞吐量: 硬盘I/O使用情况。网络吞吐量: 网络使用情况。响应时间:用户行为做出的响应时间,越短性能越好。短板原理:一直转载 2016-09-14 10:52:00 · 1320 阅读 · 0 评论 -
velocity的简介
Velocity是一个基于java的模板引擎(template engine)。它允许任何人仅仅简单的使用模板语言(template language)来引用由java代码定义的对象。 当Velocity应用于web开发时,界面设计人员可以和java程序开发人员同步开发一个遵循MVC架构的web站点,也就是说,页面设计人员可以只 关注页面的显示效果,而由java程序开发人员关注业务逻辑编码。Vel转载 2016-09-12 17:43:33 · 1261 阅读 · 0 评论 -
Spring Boot
上篇散仙写了一个很简单的入门级的Spring Boot的例子,没啥技术含量,不过,其实学任何东西只要找到第一个突破口,接下来的事情就好办了,人最怕什么? 我想莫过于干一件事情,没有下手的地方了,而当你一旦找到了这感觉,就可以很喜悦的顺藤摸瓜般的探索你强烈想探索求知的某种事物了,这种冥冥之中玄而又玄的感觉是什么?回想一下: (1) 当你把第一个某种编程语言的Hello World的例子,转载 2016-09-12 17:39:43 · 792 阅读 · 0 评论 -
CentOS安装 JDK1.7
一、前言 CentOS6.5系统自带Open JDK1.7、1.6和1.5,但OpenJDK部分内容与SUN JDK不兼容,因此打算重新安装SUN JDK1.7来开发。 二、卸载Open JDK 1. 通过rpm命令查看Open JDK具体版本信息# rpm -qa | grep转载 2016-09-06 15:53:30 · 266 阅读 · 0 评论 -
zookeeper原理(深入学习)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2016-10-14 08:48:07 · 6930 阅读 · 0 评论 -
分布式事务
原文地址:https://blog.csdn.net/congyihao/article/details/70195154转载 2019-01-16 15:52:33 · 156 阅读 · 0 评论 -
Kafka(分布式发布-订阅消息系统)
一、简介Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。几种分布式系统消息系统的对比:推荐相关文章:各消息队列对比,Kafk...转载 2018-04-20 12:57:08 · 7362 阅读 · 1 评论 -
zookeeper详解
ZooKeeper概述 原文地址:https://www.cnblogs.com/wuxl360/p/5817471.htmlZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务,它提供了一项基本服务:分布式锁服务。由于ZooKeeper的开源特性,后来我们的开发者在分布式锁的基础上,摸索了出了其他的使用方法:配置维护、组服务、分布式消息队列、分布转载 2017-12-12 14:18:21 · 354 阅读 · 0 评论 -
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
原文地址:http://blog.jobbole.com/110388/ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式转载 2017-12-12 09:38:25 · 226 阅读 · 0 评论 -
全面介绍ZooKeeper原理及使用
原文写的非常好,地址:http://www.wuzesheng.com/?p=2609ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部分介转载 2016-10-14 08:32:15 · 3624 阅读 · 0 评论 -
Twitter的分布式自增ID算法snowflake
原文地址:http://www.cnblogs.com/relucent/p/4955340.html概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而t转载 2016-11-09 16:31:38 · 727 阅读 · 0 评论 -
Apache安装与使用
以下为正文内容:一、Apache 的安装说明1、首先打开Apache官网,进入Windows版本的下载地址页面:http://archive.apache.org/dist/httpd/binaries/win32/ 并选择2.2.22_no_ssl版本的msi安装包下载(高版本的截止到本文编写时还未官网还未提供msi安装包),如图:下载好就可以开始安装了转载 2016-11-07 12:21:00 · 1511 阅读 · 0 评论 -
高一致性服务ZooKeeper
原文写的非常好,地址:http://blog.csdn.net/cutesource/article/details/5822459分布式环境中大多数服务是允许部分失败,也允许数据不一致,但有些最基础的服务是需要高可靠性,高一致性的,这些服务是其他分布式服务运转的基础,比如naming service、分布式lock等,这些分布式的基础服务有以下要求:高可用性高一致性高性能转载 2016-10-14 08:49:52 · 607 阅读 · 1 评论 -
微博RPC框架Motan
原文来自:http://blog.csdn.net/autfish/article/details/51374798从14年开始就陆续看到新浪微博RPC框架Motan的介绍,时隔两年后,微博团队终于宣布开源轻量级RPC框架Motan,项目地址:https://github.com/weibocom/motan/项目文档介绍比较详细,搭建开发环境非常简单,如果只是使用转载 2016-09-12 17:23:42 · 2537 阅读 · 0 评论 -
tomcat配置SSL双向认证
原文来自:http://www.cnblogs.com/SiLuoSai/p/tomcat_SSL.html一、SSL简单介绍 SSL(Secure Sockets Layer 安全套接层)就是一种协议(规范),用于保障客户端和服务器端通信的安全,以免通信时传输的信息被窃取或者修改。怎样保障数据传输安全? 客户端和服务器端在进行握手(客户转载 2016-09-12 16:58:47 · 2732 阅读 · 0 评论 -
centOS目录结构
CentOS的目录大体上可分为四类:管理类、用户类、应用程序类、信息类文件目录。管理类目录: /boot linux 的内核及引导系统程序所需要的文件目录 /bin 存放标准 linux 的工具,在终端里输入ls,系统就系统将会到该目录查看是否存在该命令程序。 /sbin 大多是涉及系统管理的命令的存放,是超级权限用户root的可执行命令存放转载 2016-01-19 15:11:32 · 358 阅读 · 0 评论 -
Windows下Redis的安装和测试
Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。转载 2015-11-02 16:36:45 · 542 阅读 · 0 评论 -
Redis VS. Memcached 均不适合数据量高于1千万条,且保证数据完整的key-value存储
引子: 在大数据时代,总希望存在一个Key-value存储机制,像HashMap一样在内存中处理大量(千万数量级)的key-value对,以便提高数据查找、修改速度。 所以,我们会想到,Memcached和Redis这两个NoSQL数据库(严格来讲二者都不可以算作数据库)。 1、Memcached是一个cache机制,当内存不足时会采用LRU机制,替换出陈转载 2015-11-02 15:32:31 · 646 阅读 · 0 评论 -
Redis能干啥?细看11种Web应用场景
下面列出11种Web应用场景,在这些场景下可以充分的利用Redis的特性,大大提高效率。1.在主页中显示最新的项目列表。Redis使用的是常驻内存的缓存,速度非常快。LPUSH用来插入一个内容ID,作为关键字存储在列表头部。LTRIM用来限制列表中的项目数最多为5000。如果用户需要的检索的数据量超越这个缓存容量,这时才需要把请求发送到数据库。2.删除和过滤。如果一转载 2015-11-02 15:08:15 · 541 阅读 · 0 评论 -
支付接口示例代码
第三方支付接口1. 快钱支付2. 支付宝3. YeePay易宝4. 邮局支付(网汇通)5. 安付通6. 网银(chinabank)7. PayPal贝宝8. ips环迅支付9. 腾讯财付通10. NPS网上支付系统 1.快钱支付(银行转载 2015-12-10 09:50:00 · 694 阅读 · 0 评论 -
cxf webservice例子
使用 CXF 做 webservice 简单例子 Apache CXF 是一个开放源代码框架,提供了用于方便地构建和开发 Web 服务的可靠基础架构。它允许创建高性能和可扩展的服务,您可以将这样的服务部署在 Tomcat 和基于 Spring 的轻量级容器中,以及部署在更高级的服务器上,例如 Jboss、IBM® WebSphere® 或 BEA WebLogic。转载 2015-11-16 13:54:49 · 335 阅读 · 0 评论 -
Nginx详细配置的备注说明
Nginx.conf代码 #http://www.open-open.com/home/space-361-do-blog-id-5087.html #user nobody; #定义了nginx对外提供web服务时的worker进程数。最优值取决于许多因素,包括(但不限于)CPU核的数量、存储数据的硬盘数量 #及负载模式。不能确定的时候,将其设置为可转载 2015-10-26 11:57:57 · 473 阅读 · 0 评论 -
web应用的负载均衡、集群、高可用(HA)解决方案
1、熟悉几个组件1.1、apache —— 它是Apache软件基金会的一个开放源代码的跨平台的网页服务器,属于老牌的web服务器了,支持基于Ip或者域名的虚拟主机,支持代理服务器,支持安全Socket层(SSL)等等,目前互联网主要使用它做静态资源服务器,也可以做代理服务器转发请求(如:图片链等),结合tomcat等servlet容器处理jsp。1.2、ngnix转载 2015-10-26 11:52:18 · 1424 阅读 · 0 评论 -
3种LVS/Nginx/HAProxy负载均衡器的对比分析
现在网站发展的趋势对网络负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术:一种是通过硬件来进行进行,常见的硬件有比较昂贵的NetScaler、F5、Radware和Array等商用的负载均衡器,它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大,所以对于规模较小的网络服务来说暂时还没有需要使用;另外一种就是类似于LVS/HAProxy、Nginx的基于Lin转载 2015-10-26 11:06:03 · 361 阅读 · 0 评论 -
浅谈mysql主从复制的高可用解决方案
1、熟悉几个组件(部分摘自网络)1.1、drbd —— DRBD(Distributed Replicated Block Device),DRBD号称是 "网络 RAID",开源软件,由 LINBIT 公司开发。DRBD 实际上是一种块设备的实现,主要被用于Linux平台下的高可用(HA)方案之中。他是有内核 模块和相关程序而组成,通过网络通信来同步镜像整个设备,有点类似于一个网转载 2015-10-26 12:01:38 · 1970 阅读 · 0 评论 -
Lucene中文分词器的比较
1. 基本介绍:paoding :Lucene中文分词“庖丁解牛” Paoding Analysisimdict :imdict智能词典所采用的智能中文分词程序mmseg4j : 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器ik :采用了特有的“正向迭代最细粒度切分算法“,多子处理器分析模式2. 开发者及开发活跃度:paoding转载 2015-12-21 09:45:13 · 554 阅读 · 0 评论 -
Lucene创建及使用方法
1.1 Lucene简介Lucene.NET是一个全文搜索框架,,lucene的功能很单一,说到底,就是你给它若干个字符串,然后它为你提供一个全文搜索服务,告诉你你要搜索的关键词出现在哪里。知道了这个本质,你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了,做个资料库;你可以把一个数据库表的若干个字段索引起来,那就不用再担心因为“%like%”而锁表了。1.2 l转载 2015-12-21 16:18:48 · 421 阅读 · 0 评论 -
Lock
Java并发编程:Lock 在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题,从Java 5之后,在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问,那就是Lock。 也许有朋友会问,既然都可以通过synchronized来实现同步访问了,那么为什么还需要提供Lock?这个问题将在下面进行阐转载 2016-09-09 16:10:23 · 302 阅读 · 0 评论 -
Linux下的CentOS、Ubuntu、Gentoo 比较
转载自:http://www.williamlong.info/info/archives/197.html Linux最早由Linus Benedict Torvalds在1991年开始编写。在这之前,Richard Stallman创建了Free Software Foundation(FSF)组织以及GNU项目,并不断的编写创建GNU程序(此类程序的许可方式均为GPL: Genera转载 2016-05-20 16:30:49 · 1086 阅读 · 0 评论 -
luncene 查询字符串的解析
目录(?)[-]41 按词条搜索TermQuery42 与或搜索BooleanQuery43 在某一范围内搜索RangeQuery44 使用前缀搜索PrefixQuery45 多关键字的搜索PhraseQuery46 使用短语缀搜索PhrasePrefixQuery47 相近词语的搜索FuzzyQuery48 使用通配符搜索WildcardQue转载 2016-05-04 13:59:12 · 1035 阅读 · 0 评论