沉潜飞动

人非生而知之者,孰能无惑?惑而不从师,其为惑也,终不解矣。

排序:
默认
按更新时间
按访问量

JVM参数优化(基础篇)

文中内容主要是自己关于JVM参数优化的一些总结,参考了网上很多大神的文章,有参数有说明,这里是为了记录下,也是为了可以给别人做个垫脚石。刚入坑不久,很多地方还不是很透彻,之后会继续研究。

2017-06-30 11:27:55

阅读数:2171

评论数:0

storm笔记:Trident状态

Trident中有对状态数据进行读取和写入操作的一流抽象工具。状态既可以保存在拓扑内部,比如保存在内容中并由HDFS存储,也可以通过外部存储(比如Memcached或Cassandra)存储在数据库中。而对于Trident的API而言,这两种机制没有任何区别。Trident以容错的方式管理状态,以...

2017-06-09 22:58:47

阅读数:2076

评论数:0

JDK 工具一览

Java 坑如此大,需要慢慢填。本文是列出JDK自带的一些工具,介于篇幅,简单列出工具列表及工具的作用。至少先做到知道有哪些工具,然后才能在实际中用到。

2017-04-26 15:57:23

阅读数:680

评论数:0

storm笔记:Trident应用

Trident是基于Storm的实时计算模型的高级抽象。它可以实现高吞吐(每秒数百万条消息)的有状态流处理和低延迟分布式查询。如果以前使用过高级批处理工具(比如Pig或Cascading),则对Trident的概念会非常熟悉,比如连接、聚合、分组、功能处理和过滤等。除此之外,Trident还增加了...

2017-04-01 14:35:02

阅读数:2196

评论数:0

解决方案之任务队列

在一些系统中,会有对某些任务状态进行跟踪,如果任务失败需要重新执行任务。本文主要是针对这种请求提出解决方案,因为时间原因,方案还没有在代码中实现。但是经过和朋友的推演,是目前能想到的比较有效的方案了。鉴于本人才疏学浅,如果有某位大神有更好的解决方案,请一定不吝赐教,感谢不尽。。。

2016-08-14 20:32:13

阅读数:4108

评论数:0

storm笔记:storm集群

Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配置静态指定(还有一种主从结构是在运行时动态选举,比如zookeeper)。通常这种主从结构存在出现单点故障的风险,Storm通过特殊处理规避这种风险,后面将解释Storm的半容错结构。

2016-01-25 10:17:35

阅读数:5432

评论数:0

storm笔记:storm基本概念

本文主要介绍storm中的基本概念,从基础上了解strom的体系结构,便于后续编程过程中作为基础指导。主要的概念包括:topology(拓扑)、stream(数据流)、spout(水龙头、数据源)、bolt(螺栓,数据筛选处理)、stream group(数据流分组)、reliability(可靠...

2016-01-21 14:53:37

阅读数:3259

评论数:2

storm笔记:Storm+Kafka简单应用

这几天工作需要使用storm+kafka,基本场景是应用出现错误,发送日志到kafka的某个topic,storm订阅该topic,然后进行后续处理。场景非常简单,但是在学习过程中,遇到一个奇怪的异常情况:使用KafkaSpout读取topic数据时,没有向ZK写offset数据,致使每次都从头开...

2016-01-21 09:51:29

阅读数:11545

评论数:5

HTTP状态码总结

众所周知,每一个HTTP响应都会带有一个HTTP状态码(HTTP Status Code),是用来表示HTTP服务器响应状态的代码。它由RFC 2616规范定义的,并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。作为web开发者,平时经常2...

2016-01-07 16:46:13

阅读数:2173

评论数:2

编程的乐趣与苦恼

职业的乐趣 编程为什么有趣?作为回报,它的从业者期望得到什么样的快乐?   首先是一种创建事物的纯粹快乐。如同小孩在玩泥巴时感到愉快一样,成年人喜欢创建事物,特别是自己进行设计。我想这种快乐是上帝创造世界的折射,一种呈现在每片独特、崭新的树叶和雪花上的喜悦。   其次,快乐来自于开发对其他人有用...

2014-06-21 08:55:12

阅读数:5933

评论数:4

spring-cloud-config 非对称加密 keystore 文件加载异常

因为配置内容可能涉及到某些敏感信息,所以可以简单的在Spring Cloud Config中使用非对称加密实现敏感信息的安全存储。但是在使用过程中,却碰到一些奇葩的问题,无论是官方文档还是一些大神的博文,都没有明确解决。当然,这个问题的出现与我的配置有关,很多人可能并没有碰到。这里把问题描述下,万...

2017-10-12 16:16:19

阅读数:1359

评论数:0

代码质量管理:SonarQube + Jenkins Pipeline配置

本文主要是介绍通过Jenkins Pipeline与SonarQube集成,对代码进行扫描,这里使用的是Jenkins2.19.1,SonarQube6.4。

2017-09-13 15:53:25

阅读数:769

评论数:0

java.lang.OutOfMemoryError:GC overhead limit exceeded

简单来说,java.lang.OutOfMemoryError: GC overhead limit exceeded发生的原因是,当前已经没有可用内存,经过多次GC之后仍然没能有效释放内存。

2017-09-11 16:36:20

阅读数:2539

评论数:0

中文字节长度引起的数据丢失

最近在写一个应用监控的项目,使用netty作为数据传输。因为刚开始写,没有使用Protobuf之类的作为编码工具,只是使用的是netty自带的`LengthFieldBasedFrameDecoder`作为报文解析工具,自定义编码解码类,实现数据传输。 在对中文进行转换字节的时候一定要注意,千万不...

2017-08-30 16:18:07

阅读数:300

评论数:0

ResourceManager HA 配置

ResourceManager(RM)负责跟踪集群中资源使用情况,调度应用程序(比如MapReduce作业)。在Hadoop 2.4之前,ResourceManager存在单点故障,需要通过其他方式实现HA。官方给出的HA方案是Active/Standby两种状态ResourceManager的冗...

2017-07-11 16:31:38

阅读数:681

评论数:0

YARN 架构

YARN的基本思想是将资源管理和作业调度/监控的功能分为独立的守护进程。这样就出现了一个全局的 ResourceManager(RM) 和每个应用程序的 ApplicationMaster(AM)。应用程序可以是一个job作业或者一组job作业的有向无环图(DAG)。ResourceManager...

2017-07-11 09:23:45

阅读数:869

评论数:0

使用 QJM 实现 HDFS 的 HA

hadoop官方提供了两种HDFS的HA配置方案,两种方案殊途同归,但是需要的钱、精力和技术不同。如果对HDFS架构熟悉的话,就应该知道,NameNode通过FsImage和EditLog两个文件管理DataNode的数据,Secondary NameNode会定期合并EditLog,以减少Nam...

2017-07-10 11:12:12

阅读数:553

评论数:0

HDFS 架构

Hadoop文件存储的基础是HDFS(Hadoop Distributed File System),HDFS的实现依赖于NameNode和DataNode,DataNode用来存储具体数据,NameNode用来管理多个DataNode中分别存储的是什么。理解起来也不难,因为HDFS是分布式的文件...

2017-07-05 17:05:11

阅读数:1041

评论数:0

常用消息队列对比

作为中间件,消息队列是分布式应用间交换信息的重要组件。消息队列可驻留在内存或磁盘上, 队列可以存储消息直到它们被应用程序读走。通过消息队列,应用程序可以在不知道彼此位置的情况下独立处理消息,或者在处理消息前不需要等待接收此消息。所以消息队列可以解决应用解耦、异步消息、流量削锋等问题,是实现高性能、...

2017-03-08 17:00:56

阅读数:9638

评论数:2

HTTP长连接和短连接

一直听别人说HTTP长连接,只知道长连接比短连接更节省资源、更快捷,但是并不真的知道原因。知其然不知其所以然,对于技术来说,这种状态是比较危险的。所以,还是要挖一下原理,即使挖的比较浅,也要迈出这一步。HTTP是应用层协议,传输层使用的是TCP协议,网络层使用的是IP协议。

2017-03-01 22:47:11

阅读数:382

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭