带眼镜的蜗牛-CSDN博客

原创 MyEclipse安装hadoop-eclipse-plugin，配置本地hadoop开发环境

配置环境：Hadoop-2.7.1，MyEclipse10，redhat 6.5 在redhat6.5环境下搭建了hadoop2.7.1集群环境，那么如何在本地eclipse环境下开发map/reduce业务呢？网上查了下，主要是安装hadoop-eclipse-plugin，在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。步骤： 1）下载hadoop-e...

2017-07-29 17:17:52 4220

原创 hadoop2.7.1分布式集群搭建图解

引言网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步，配置主机名Namenode节点对应的主机名为master Datanode节点对应的主机名分别为node1、node2 分别配置master、node1和node2等机器的主机名这些步

2017-07-29 14:58:58 647

原创高并发请求服务器时，经常出现如下异常：java.lang.OutOfMemoryError: unable to create new native thread的解决方法

高并发请求服务器时，经常出现如下异常：java.lang.OutOfMemoryError: unable to create new native thread，对于此种情况，出现这种情况，是什么原因呢，又该如何解决呢原因问题的表象解释是，你的服务器的单个进程已经不能再创建更多的线程了，那为什么会出现这种情况呢？原因有几种情况: 1.你的应用创建了太多线程了，理论上讲，一个应用进程，创建

2017-07-15 16:21:38 6219

原创 Linux系统used内存占用很大，而实际系统中个进程并没有占用这么多内存

问题新装服务器，used内存占用很大，而实际系统中个进程并没有占用这么多内存现象top查看下，used很大，如果有其他外部程序向监控服务器的内存，used实际是个比较关键的指标，而该指标却并没有反应出服务器实际占用情况：原因实际这是缓存原因导致，可以通过命令释放，即上图的cached部分解决执行以下命令：echo 0 >/proc/sys/vm/drop_caches free -m #看内存是...

2017-07-15 16:00:51 24523 1

转载消息总线能否实现消息必达？

消息总线能否实现消息必达？一、缘起上周讨论了两期环形队列的业务应用：《高效定时任务的触发》《延迟消息的快速实现》两期的均有大量读者提问：任务、延迟消息都放在内存里，万一重启了怎么办？能否保证消息必达？今天就简单聊聊消息队列（MsgQueue）的消息必达性架构与流程。二、架构方向 MQ要想尽量消息必达，架构上有两个核心设计点：（1）消

2017-07-12 22:29:11 301

转载消息总线真的能保证幂等？

消息总线真的能保证幂等？一、缘起如《消息总线消息必达》所述，MQ消息必达，架构上有两个核心设计点：（1）消息落地（2）消息超时、重传、确认再次回顾消息总线核心架构，它由发送端、服务端、固化存储、接收端四大部分组成。为保证消息的可达性，超时、重传、确认机制可能导致消息总线、或者业务方收到重复的消息，从而对业务产生影响。举个栗子：购买会员卡

2017-07-10 22:42:28 317

原创 mysql在CentOS release 6.5环境下安装

mysql在CentOS release 6.5环境下安装

2017-04-05 09:17:02 1426

原创 Nginx + Squid访问集群环境下动态生成的文件的可行性研究

最近项目中遇到需求，分布式环境，N个对等服务，其中一个服务动态产生的文件，并产生一个访问url，url的域名是N个服务的负载均衡地址，用户在浏览器或客户端希望通过这个url访问到这个文件。由于是集群环境，且文档是从其中一个服务中产生的，其他对等服务中没有这些文件，因此，访问这个url，就存在负载均衡不能分发到文件生产者服务中，存在访问失败的风险。为了解决这个问题，考虑研究下Nginx +

2016-08-06 16:22:35 2298