- 博客(8)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 MyEclipse安装hadoop-eclipse-plugin，配置本地hadoop开发环境
配置环境：Hadoop-2.7.1，MyEclipse10，redhat 6.5在redhat6.5环境下搭建了hadoop2.7.1集群环境，那么如何在本地eclipse环境下开发map/reduce业务呢？网上查了下，主要是安装hadoop-eclipse-plugin，在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。步骤：1）下载hadoop-e...
2017-07-29 17:17:52
4230
原创 hadoop2.7.1分布式集群搭建图解
引言网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步，配置主机名Namenode节点对应的主机名为master Datanode节点对应的主机名分别为node1、node2 分别配置master、node1和node2等机器的主机名 这些步
2017-07-29 14:58:58
653
原创 高并发请求服务器时，经常出现如下异常：java.lang.OutOfMemoryError: unable to create new native thread的解决方法
高并发请求服务器时，经常出现如下异常：java.lang.OutOfMemoryError: unable to create new native thread，对于此种情况，出现这种情况，是什么原因呢，又该如何解决呢原因问题的表象解释是，你的服务器的单个进程已经不能再创建更多的线程了， 那为什么会出现这种情况呢？ 原因有几种情况: 1.你的应用创建了太多线程了，理论上讲，一个应用进程，创建
2017-07-15 16:21:38
6234
原创 Linux系统used内存占用很大，而实际系统中个进程并没有占用这么多内存
问题新装服务器，used内存占用很大，而实际系统中个进程并没有占用这么多内存现象top查看下，used很大，如果有其他外部程序向监控服务器的内存，used实际是个比较关键的指标，而该指标却并没有反应出服务器实际占用情况： 原因实际这是缓存原因导致，可以通过命令释放，即上图的cached部分解决执行以下命令：echo 0 >/proc/sys/vm/drop_cachesfree -m #看内存是...
2017-07-15 16:00:51
24634
1
转载 消息总线能否实现消息必达？
消息总线能否实现消息必达？ 一、缘起上周讨论了两期环形队列的业务应用：《高效定时任务的触发》《延迟消息的快速实现》 两期的均有大量读者提问：任务、延迟消息都放在内存里，万一重启了怎么办？能否保证消息必达？ 今天就简单聊聊消息队列（MsgQueue）的消息必达性架构与流程。 二、架构方向MQ要想尽量消息必达，架构上有两个核心设计点：（1）消
2017-07-12 22:29:11
305
转载 消息总线真的能保证幂等？
消息总线真的能保证幂等？ 一、缘起如《消息总线消息必达》所述，MQ消息必达，架构上有两个核心设计点：（1）消息落地（2）消息超时、重传、确认 再次回顾消息总线核心架构，它由发送端、服务端、固化存储、接收端四大部分组成。为保证消息的可达性，超时、重传、确认机制可能导致消息总线、或者业务方收到重复的消息，从而对业务产生影响。 举个栗子：购买会员卡
2017-07-10 22:42:28
325
原创 Nginx + Squid访问集群环境下动态生成的文件的可行性研究
最近项目中遇到需求，分布式环境，N个对等服务，其中一个服务动态产生的文件，并产生一个访问url，url的域名是N个服务的负载均衡地址，用户在浏览器或客户端希望通过这个url访问到这个文件。 由于是集群环境，且文档是从其中一个服务中产生的，其他对等服务中没有这些文件，因此，访问这个url，就存在负载均衡不能分发到文件生产者服务中，存在访问失败的风险。为了解决这个问题，考虑研究下Nginx +
2016-08-06 16:22:35
2310
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人