2017年08月_下雨天_____

10月 09月 08月 07月 02月 01月

转载 CentOS下iptables设备双网卡的端口转发规则

1. 两张网卡：eth0 =》内网172.18.1.240eth1=》外网211.139.169.X目标机IP：172.18.1.X2. 原理，外网IP的端口有连接进来=》转发到目标机上=》回路：目标机=》转发到内网IP上3. 在命令行下执行：[plain] view plain copy

2017-08-30 12:08:42 6869

原创实例展示elasticsearch集群生态,分片以及水平扩展

elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elasticsea

2017-08-30 10:32:52 558

原创 Elasticsearch索引管理-reindex重建索引

一个field的设置是不能被修改的，如果要修改一个field，那么应该重新按照新的mapping，建立一个index，然后将数据批量查询出来，重新用bulk api写入新index中。批量查询的时候，建议采用scroll api，并且采用多线程并发的方式来reindex数据，每次scroll就查询指定日期的一段数据，交给一个线程即可。具体操作步骤：（1）一开始，依靠dynamic ma...

2017-08-29 18:27:08 23614 1

原创 ELASTICSEARCH健康red的解决

Elasticsearch健康red今天惯例看统计报表, 才发现es集群悲剧了......昨天下午到今天早上, 持续报错, 写了1G的错误日志>_当前状态: 单台机器, 单节点(空集群), 200W 数据

2017-08-29 14:55:36 14910 3

原创 HttpClient使用SESSIONID模拟用户发送请求

使用HttpClient版本 4.2.5 准备一已登录用户的sessionid：Java代码 public static void main(String[] args) { String url = "http://10.10.10.90/urcweb/api/http.do?method=get_im_info";

2017-08-18 17:27:41 2259

原创 centos增加swap空间

想在centos6.5里面安装oracle11g,发现默认的swap交换空间不满足最低要求，因为我分配的物理内存是20G，那么就按照要求需要16G以上的swap交换空间，需要16G，默认只有15G多的交换空间。添加swap交换空间的步骤如下：第一步：确保系统中有足够的空间来用做swap交换空间，我使用的是KVM,准备在一个独立的文件系统中添加一个swap交换文件，在/opt中添加2G的sw

2017-08-17 10:09:04 390

转载 Hadoop2.6集群安装配置教程

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行

2017-08-16 17:59:19 523

转载 Hadoop2.6.0安装教程

当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado

2017-08-16 15:04:57 1371