Java
Marvin_Pan
这个作者很懒,什么都没留下…
展开
-
maven使用nexus3.3在windows下搭建私服
1. 私服简介私服是指私有服务器,是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构建。有了私服之后,当 Maven 需要下载构件时,直接请求私服,私服上存在则下载到本地仓库;否则,私服请求外部的远程仓库,将构件下载到私服,再提供给本地仓库下载。2. nexus3的环境安装下载地址:https://www.sonatype.com/download-oss-s转载 2018-03-07 22:10:06 · 311 阅读 · 0 评论 -
kafka 基础知识梳理
转:https://www.cnblogs.com/yangxiaoyi/p/7359236.html一、kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。转载 2018-04-17 22:36:46 · 250 阅读 · 0 评论 -
流式计算产品对比(Storm、Trident、Spark Streaming、Flink)
产品模型API保证次数容错机制状态管理延时吞吐量成熟度StromNative组合式At-least-onceRecord ACKs无Very LowLowHighTridentmirco-batching组合式转载 2018-04-17 21:43:27 · 1343 阅读 · 0 评论 -
流式大数据处理的三种框架:Storm,Spark和Flink
storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。Apache Storm在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主转载 2018-04-17 21:42:37 · 404 阅读 · 0 评论 -
《Spring Cloud与Docker微服务架构实战》配套代码
转: http://www.cnblogs.com/softidea/p/6700254.html不才写了本使用Spring Cloud玩转微服务架构的书,书名是《Spring Cloud与Docker微服务架构实战》 - 周立,已于2017-01-12交稿。不少朋友想先看看源码,现将代码放出。本次放出的代码:共计70+个DEMO覆盖Eureka、Ribbon、Feign、转载 2018-04-05 13:52:03 · 615 阅读 · 0 评论 -
使用SpringCloud实战微服务
转:https://blog.csdn.net/ittechnologyhome/article/details/73824784一微服务架构概述1.1 微服务特性以及优点每个服务可以独立运行在自己的进程里一系列独立运行的微服务(goods,order,pay,user,search…)共同构建了整个系统每个服务为独立的业务开发,一个微服务只关注某个特定的功能,例如用户转载 2018-04-05 07:45:37 · 528 阅读 · 0 评论 -
Jenkins、Hudson安装、配置详细记录
转:http://www.cnblogs.com/zhuque/archive/2013/01/22/2871184.htmlJenkins的前身是Hudson,是做持续集成必不可少的工具,主要用途:持续、自动的构建项目;构建自动化测试项目;监控定时执行的一些任务。先说说一下安装:Hudson的war包下载地址:http://mirrors.neusoft.ed转载 2018-03-28 20:56:24 · 448 阅读 · 0 评论 -
30分钟--Spark快速入门指南
转: https://blog.csdn.net/tanggao1314/article/details/51557377Spark快速入门指南 – Spark安装与基础使用 2016-01-15 (updated: 2016-03-07) 6309 29Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其转载 2018-04-16 22:27:47 · 283 阅读 · 0 评论 -
谈谈分布式事务有哪些特点?
作者:海洋链接:https://www.zhihu.com/question/65292792/answer/229459320来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。现今互联网界,分布式系统和微服务架构盛行。一个简单操作,在服务端非常可能是由多个服务和数据库实例协同完成的。在一致性要求较高的场景下,多个独立操作之间的一致性问题显得格外棘手。基于水平扩容能力和...原创 2018-04-17 22:40:52 · 1142 阅读 · 0 评论 -
并发编程JMM系列之基础!
来源 | 公众号 | Justin的后端书架Java程序员在进行多线程开发时,并不需要关心线程间是如何通信的,这些对程序员本来来说完全是透明的,但是内存可见性问题很容易让我们困惑,今天我们就讲讲Java内存模型(JMM)相关知识点,首先我们先讲讲内存模型的一些基本概念,对内存模型有个大概的认识,让我们开始今天的并发之旅吧。一、并发编程模型的关键问题并发编程模型主要有两种模转载 2018-04-06 08:22:01 · 160 阅读 · 0 评论 -
服务都微了,编排怎么整?
目录:1. 编制、编排傻傻分不清楚2. “编排”的关键在于流程+适配3. “编排”中的分布式事务应满足最终一致性4. “编排”需要更友好的运维工具支撑转: http://geek.csdn.net/news/detail/200862相对于传统架构,微服务架构下更需要通过各微服务之间的协作来实现一个完整的业务流程,可以说服务编排是微服务架构下的必备技能。但是,编排涉转载 2018-04-13 21:52:01 · 217 阅读 · 0 评论 -
几种简单的负载均衡算法及其Java代码实现
什么是负载均衡负载均衡,英文名称为Load Balance,指由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求。负载均衡能够平均分配客户请求到服务器阵列,借此提供快速获取重要数据,解决大量并发访问服务问题,这转载 2018-04-06 16:07:39 · 78 阅读 · 0 评论 -
消息队列使用的四种场景介绍
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景2.1异步处理转载 2018-04-06 15:39:03 · 192 阅读 · 0 评论 -
服务幂等以及常用实现方式
现在稍具规模的网站和大型应用都不再是单机模式,而是分布式应用,基于多机的集群构建的应用,这样服务能力就可以基本实现横向扩容(scale out),不会像单机模式下的纵向扩容(scale up)会受到单机服务能力上限的限制。另外,随着“微服务”概念的火爆,很多应用在构建之初就已经走在了分布式的路线上了,所以就目前行业的发展来看,基于分布式的应用会越来越普遍,甚至变成常态。加上docker这些容器技术转载 2018-04-06 15:37:07 · 705 阅读 · 0 评论 -
聊聊并发(1):深入分析Volatile的实现原理
原文出处: 方腾飞引言在多线程并发编程中synchronized和Volatile都扮演着重要的角色,Volatile是轻量级的synchronized,它在多处理器开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时,另外一个线程能读到这个修改的值。它在某些情况下比synchronized的开销更小,本文将深入分析在硬件层面上Inter处理器是如何实现Vo转载 2018-04-06 15:35:08 · 103 阅读 · 0 评论 -
大型网站架构之架构演变
公众号 | Justin谈开发作者 | Justin处于这个互联网开发时代,作为一名软件工程师,我们经常会听到大型网站架构这个字眼,那到底什么是大型网站呢,这样的网站又是一种什么样的架构设计呢?今天我们就开始谈谈大型网站架构设计系列,首先我们今天讲讲大型网站架构设计是如何演变的,跟着我一起出发吧。一、大型网站系统的特点高并发,大流量:需要面对高并发用户,转载 2018-04-06 12:03:26 · 194 阅读 · 0 评论 -
秒杀系统的技术挑战、应对策略以及架构设计总结一二!
参考书籍 | 《大型网站技术架构》 | 李智慧整理 | 公众号 | Justin谈开发一、什么是秒杀?秒杀是电商常见的一种营销手段:将少量的商品,以极低的价格,在特定的时间点开始出售,网站通过这种营销手段,制造某种轰动效应,从而达到网站推广的目的,秒杀虽然对网站推广有很多好处,但是对网站技术却是极大的挑战:网站是为正常运营设计的,而秒杀活动带来的并发访问用户却是平时的数百转载 2018-04-06 11:46:19 · 213 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
转:http://www.powerxing.com/install-hadoop-in-centos/本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在 CentOS 中安装并运行 Hadoop。本 Hadoop 教程由给力星出品,转...转载 2018-04-15 21:43:42 · 155 阅读 · 0 评论 -
linux查看端口占用情况
转:https://www.cnblogs.com/wangtao1993/p/6144183.html今天要使用python写一个端口探测的小程序,以检测一些特定的服务端口有没有被占用,突然发现自己居然不知道在linux中如何查询端口被占用的情况,天呐,赶快学习一下。? Linux如何查看端口1、lsof -i:端口号 用于查看某一端口的占用情况,比如查看80转载 2018-04-15 20:09:42 · 158 阅读 · 0 评论 -
LRU缓存实现(Java)
LRU Cache的LinkedHashMap实现LRU Cache的链表+HashMap实现LinkedHashMap的FIFO实现调用示例转:https://www.cnblogs.com/lzrabbit/p/3734850.htmlLRU是Least Recently Used 的缩写,翻译过来就是“最近最少使用”,LRU缓存就是使用这种原理实现,简单的说就是缓存一定量的数转载 2018-04-08 21:32:55 · 128 阅读 · 0 评论 -
Java并发编程:线程池的使用
Java并发编程:线程池的使用 转: http://www.cnblogs.com/dolphin0520/p/3932921.html在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题: 如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需转载 2018-04-07 14:10:34 · 110 阅读 · 0 评论 -
浅谈几种序列化协议
http://blog.51cto.com/yaocoder/795807 工作中用过几种知名的序列化协议,说说自己的感受吧,先独立讲各自的概念,然后比较下他们的优缺点。JSON(Javascript Object Notation) 官方网站是这样叙述的:一种轻量级的资料交换语言。易于人阅读和编写。同时也易于机器解析和生成。json转载 2018-03-18 12:00:53 · 1461 阅读 · 0 评论 -
XML解析方式
http://blog.csdn.net/liuhuang007/article/details/6252569XML(Extensible Markup Language)即可扩展标记语言,它与HTML一样,都是SGML(Standard Generalized Markup Language,标准通用标记语言)。Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处转载 2018-03-18 11:58:19 · 222 阅读 · 0 评论 -
高并发读与高并发写的项目总结和mongodb使用中遇到的坑
http://blog.csdn.net/acceptedxukai/article/details/54016342最近开发了一个既要高并发写又要高并发读的项目,写的QPS比读还要高,这个需求几乎是变态的,任何缓存的工具都没法使用,数据在一秒内可能变化的几十遍,只能每次请求都实时从数据库读取。下面分如下几点介绍我们是如何技术选型的。一、选择通信协议转载 2018-03-18 11:11:25 · 6468 阅读 · 0 评论 -
Java开发中的23种设计模式详解
转自: http://blog.csdn.net/doymm2008/article/details/13288067总体来说设计模式分为三大类:创建型模式,共五种:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式,共十一种:策略模式、转载 2018-03-17 22:38:03 · 287 阅读 · 0 评论 -
hadoop 端口占用处理
Hadoop BindExceptionHadoop节点daemon无法启动,报BindException,启动日志如下:2018-03-12 10:16:56,057 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOExceptionjava.net.BindExcepti转载 2018-04-15 20:07:33 · 2763 阅读 · 1 评论 -
解决 Unable to load native-hadoop library for your platform
安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因:Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。1、首先找到对应自己ha转载 2018-04-15 18:34:49 · 174 阅读 · 0 评论 -
JVM 调优 —— GC 长时间停顿问题及解决方法
零. 简介垃圾收集器长时间停顿,表现在 Web 页面上可能是页面响应码 500 之类的服务器错误问题,如果是个支付过程可能会导致支付失败,将造成公司的直接经济损失,程序员要尽量避免或者说减少此类情况发生。一. 并发模式失败(concurrent mode failure)并发模式失败日志: [html] view转载 2018-04-02 21:24:16 · 1937 阅读 · 0 评论 -
深入理解G1垃圾收集器
Garbage First(G1)致力于在多CPU和大内存服务器上对垃圾收集提供软实时目标(soft real-time goal )和高吞吐量(high throughput )。从JDK 6u14开始就已经在Hotspot上试验,到现在的JDK7依然没有走出实验室。是最终将用于代替Concurrent Mark-Sweep garbage collector(CMS GC)的新一代垃圾回收转载 2018-04-02 21:11:15 · 153 阅读 · 0 评论 -
大数据学习之路(持续更新中...)
转: https://www.cnblogs.com/xing901022/p/6195422.html在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴。目前正在学习分转载 2018-04-15 15:20:12 · 249 阅读 · 0 评论 -
大数据经典学习路线(及供参考)
转:https://blog.csdn.net/yuexianchang/article/details/52468291目录(?)[+]1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力:熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;转载 2018-04-15 14:56:42 · 1410 阅读 · 0 评论 -
JVM监控工具介绍jstack, jconsole, jinfo, jmap, jdb, jstat
一、jps1、介绍用来查看基于HotSpot JVM里面所有进程的具体状态, 包括进程ID,进程启动的路径等等。与unix上的ps类似,用来显示本地有权限的java进程,可以查看本地运行着几个java程序,并显示他们的进程号。使用jps时,不需要传递进程号做为参数。Jps也可以显示远程系统上的JAVA进程,这需要远程服务上开启了jstat服务,以及RMI注及服务,不过常用都是对本对转载 2018-04-01 22:23:26 · 121 阅读 · 0 评论 -
Eclipse Validating缓慢的优化
使用Eclipse的人基本都有这种情况,如图: 各种等待有木有,各种崩溃啊有木有,反正我是觉得挺烦的,但是也不知道是干嘛的,如果取消了,造成程序出问题,就是给自己找麻烦,我知道这个事情肯定是可以关的,关键的问题就是,关了影响了什么,是我们可以接受的么,如果影响到程序正常的运行了,那还不如等一会儿呢,所以。。。百度一下吧,呵呵呵,没有,只能根据字面来理解,是用来做验证的,看它验证的文件都是一些...转载 2018-07-09 10:25:50 · 406 阅读 · 0 评论