自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 Linux ssh升级后无法登陆

无法3个不支持的选项,我们在 ssh_config和sshd_config中注视掉就好了 GSSAPIAuthentication GSSAPICleanupCredentials Unsupported option UsePAM 5.在升级的时候,发生了一个意外 升级完成之后,一切...

2015-02-09 18:00:32 5334 0

转载 定时调度与管理

没有JobCenter时我们要面对的:   电商业务链条很长,业务逻辑也较为复杂,需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service。如果没有一个统一的调度和报警,在集群环境下,我们会: 不知道哪一个定时任务执...

2015-01-23 11:15:27 2807 0

转载 HBase宕机的多种场景

异常导致的退出会通过接口Abortable定义的abort()方法实现,Abortable实现类如下:     由以上类图可以看出HBaseAdmin的abort由于是client的访问,因此终止服务只需抛出异常即可,HConnection也是用于client,因此只需关闭连接,如果是zk的异...

2015-01-08 16:13:09 1701 0

转载 mysql主从复制

mysql主从复制 (超简单) 怎么安装mysql数据库,这里不说了,只说它的主从复制,步骤如下: 1、主从服务器分别作以下操作:   1.1、版本一致   1.2、初始化表,并在后台启动mysql   1.3、修改root的密码 2、修改主服务器master:    ...

2014-11-13 16:45:39 901 0

转载 Ntp时间同步

今有一小型项目,完全自主弄,原来以为很简单的NTP服务,我给折腾了2个多小时才整撑头(以前都是运维搞,没太注意,所以这技术的东西,在简单都需要亲尝啊),这里记录为以后别再浪费时间。       目标环境,5台linux centos 6.3, 一台作为NTPD服务与外部公共NTP服务同...

2014-10-29 13:53:46 4373 0

转载 规则引擎介绍

1.1 现状 在很多行业应用中比如银行、保险领域,业务规则往往非常复杂,并且规则处于不断更新变化中,而现有很多系统做法基本上都是将业务规则绑定在程序代码中。 1.2 问题 主要存在的问题有以下几个方面: 1) 当业务规则变更时,对应的代码也得跟着更改,每次即使是小的变更都需...

2014-10-09 15:21:07 3950 0

原创 Splunk - 海量日志搜索的先驱

在大数据时代,电信、金融、互联网等各行各业都面临大数据的考验。如何在海量、无规则的数据中发现价值,给企业创造长期利润,已经成为当前最热门的话题。2014 SplunkLive在北京举行,主要分享Splunk如何管理大数据,以及其他行业使用Splunk的成功案例。 会议的议题主要包括: ü  S...

2014-09-29 14:52:12 2633 0

原创 Redis使用技巧

在使用Redis的时候,经常遇到connection refuse的错误

2014-09-16 20:07:32 1199 0

原创 神奇的HttpClient

httpclient调用rest服务,获取不到结果,jian'hua代码如下:

2014-09-16 20:06:36 1394 0

原创 too many open files解决办法

在/etc/security/limit.conf 最后加上如下两行: root soft nofile 32000 root hard nofile 32000

2014-09-11 15:01:43 4507 16

转载 工作与价值观

感觉这篇文章很好,经常看看。 工作与价值观 你工作是为了什么?这个问题看起来很哲学,但其实每个人心中都有答案。 钱。我曾有个台湾同事,很活泼、可爱的小姑娘。她的爱好就是环球旅游。她说,工作对她的意义就在于,工作所带来的收入能让她在这个城市自给自足,想呆多久...

2014-08-14 13:26:51 632 0

转载 关于httpclient 请求https (如何绕过证书验证)

第一种方法,适用于httpclient4.X 里边有get和post两种方法供你发送请求使用。导入证书发送请求的在这里就不说了,网上到处都是 import java.io.BufferedReader; import java.io.IOException; import java....

2014-08-12 10:11:02 1251 0

转载 HttpClient入门

HttpClient 是 Apache Jakarta Common 下的子项目,可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。本文首先介绍 HTTPClient,然后根据作者实际工作经验给出了一些常见问题的解决方法。 ...

2014-07-25 11:13:26 869 0

转载 效忠一家公司超过两年,还不跳槽你就亏大了

美国有个最糟糕的秘密,在同一家公司年资两年以上的员工,平均年薪都会较低。在同一家公司待两年的人,一辈子的薪水平均会少 50%。 50 % 已经是最保守估计的数字。减少 50% 代表着您一生只工作十年。您工作的时间越长,一生薪水的差异会更剧烈。为什么会这样子呢?原因有上百万个,但让我们先聚焦在...

2014-07-04 10:51:16 1764 0

原创 linux监控http包

tcpdump -i bonds tcp port 8080

2014-07-03 19:31:55 670 0

转载 storm源代码编译 及lein用法

storm号称是实时领域的hadoop,作为一个平台型系统,他提供了实时计算,线性扩展,ack机制,事务型Tom,DRPC,Trident等等强大的服务,应用场景也非常广泛,作为一个storm的爱好者,第一步肯定是迫不及待的想编译一下源代码,下面简单的介绍一下storm的在线编译过程,离线编译过程...

2014-07-03 09:54:43 2759 0

转载 云计算是什么?

技术人员怎么也讲不清楚的云计算,咱们的高级总监曾经就是这样和政府领导普及云计算和智慧城市知识的,却都听懂了:   你娶了一个老婆,这叫传统IT架构。   你觉得一个老婆不够,这叫传统企业CIO的困境。   你又娶了一个老婆,这叫双活数据中心。   你在外地又娶了一个小老婆,这叫两地...

2014-06-17 14:40:52 898 0

原创 使用iptables保障Linux服务器

iptables是linux下IPV4的管理工具,下面主要基于我们设置Linux访问策略做一个简单的介绍 需求:设置一组IP端口可以访问该Linux机器,其他的机器不能访问。 步骤: 1.禁上除本机IP外的其他地址都不能访问该机器 iptables -t filter -I INPUT !...

2014-02-24 14:51:18 1005 1

原创 HTTP是长连接还是短连接

今天和同事在争论一个问题,HTTP是长连接还是短连接 具体解释如下: 在HTTP/1.0中,默认使用的是短连接。也就是说,浏览器和服务器每进行一次HTTP操作,就建立一次连接,但任务结束就中断连接。如果客户端浏览器访问的某个HTML或其他类型的 Web页中包含有其他的Web资源,如JavaSc...

2014-02-19 17:10:38 6435 0

转载 正则表达式30分钟入门教程 - 这篇文章写的真不错,我看了一下午,以为我的智商不够。。在结尾看到作者说到30分钟是骗人的~在标题里写出来,只是想提醒读者

正则表达式30分钟入门教程 版本:v2.33 (2013-1-10) 作者:deerchao 转载请注明来源 目录 跳过目录 本文目标如何使用本教程正则表达式到底是什么东西?入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰...

2014-02-19 15:49:28 2289 0

原创 使用String.split拆分多个空格的问题

当用String.split拆分字符串时,如果连着有两个或多个空格,那么得到的String数据就会包含一个空格,这样是不对的,使用如下方法可以解决: String.split("\\s{1,}");

2014-02-18 10:18:34 3632 0

转载 YUM源讲解

什么是repo文件? repo文件是Fedora中yum源(软件仓库)的配置文件,通常一个repo文件定义了一个或者多个软件仓库的细节内容,例如我们将从哪里下载需要安装或者升级的软件包,repo文件中的设置内容将被yum读取和应用! 我们以一份系统自带的repo文件做为实例来探讨(#号后面是我...

2014-02-12 14:15:34 788 0

转载 从yum安装Cloudera CDH集群

记录使用yum通过rpm方式安装Cloudera CDH中的hadoop、yarn、HBase,需要注意初始化namenode之前需要手动创建一些目录并设置权限。 0.环境准备 1.设置hosts 临时设置hostname,以node1为例 sudo hostname node...

2014-01-23 15:29:25 7569 0

转载 在elasticsearch里如何高效的使用filter [性能优化必看]

这里有一篇很好的文章,很不错,翻译和整理了一下,英文不错的,建议直接看原文:http://euphonious-intuition.com/2013/05/all-about-elasticsearch-filter-bitsets/ elasticsearch里面有BOOL filter、...

2014-01-20 10:44:26 7423 0

转载 互联网思维是个什么玩意

互联网思维到底是一种什么样的思维?文章作者总结了以下三点,认为是互联网思维的核心:1. 数据驱动运营;2. 基础功能免费,增值服务收费;3. 微创新,快速迭代。   我没有任何反对的意思,比较认同其总结的3点内容,也予以了转发。这三点其实是互联网思维经营模式上的总结,这里我再从自己理解的角度上解...

2013-12-23 14:44:13 896 1

原创 Flume0.9X和1.X的区别

Flume NG (Next Generation) is a huge departure from Flume OG (Original Generation) in its implementation although many of the original concepts are t...

2013-12-20 11:41:04 1162 0

转载 分布式日志收集系统- Cloudera Flume 介绍

Flume是Cloudera提供的日志收集系统,具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输, Flume支持在日志系统中定制各类数据发送方, 同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力.  Flume 部署结构   flume架构简单,可靠,灵活...

2013-12-19 10:33:43 8225 0

转载 日志记录组件

常在服务器端处理用户请求时.特别是针对Web应用程序.当出现异常是可以根据日志操作记录还原异常出现时操作步骤.而记录异常堆栈信息判断问题出现问题位置. 为了跟踪和记录服务器行为.特别是针对出现异常时构建简单、统一的异常处理模式就显得尤为重要. 如果有一个基础的架构用来记录服务器端中日志和事件...

2013-12-18 13:46:24 1606 0

原创 日志文件监控利器 - logstash

最近在使用logstash进行日志搜集,很方便的一个开源软件软件,开包即用,使用JRuby来开发的,呵呵,我一看到不是java开发的开源项目,就有一种莫名其妙的抵触情绪,怪哉怪哉,不过我去它们的jira系统,发现里边还是很活跃的,jira地址:https://logstash.jira.com/s...

2013-12-18 12:07:15 32772 2

原创 Oracle错误小记

昨天接到个任务,迁移数据库表,领导给了我一个新的Oracle数据库,用sqlplus登录的时候,遇到如下错误: ERROR: ORA-01034: ORACLE not available ORA-27101: shared memory realm does not exist Linux Er...

2013-12-17 10:00:05 1522 0

转载 常见数据库设计 — 树形结构数据

1 概述 树形数据,主要关注的是: 1> 如何将数据高效地以树形的形式展现给用户 2> 通过某个节点找到所有的父节点。 3> 获取某个节点的所有的后继节点(包括子节点的子节点) 至于添加、修改、删除和通过一个父节点获取对应的子节点,都是可以很容易的实现。 2 邻接模型 2.1业务...

2013-12-12 15:43:34 3091 0

转载 java用户角色权限设计

实现业务系统中的用户权限管理--设计篇   B/S系统中的权限比C/S中的更显的重要,C/S系统因为具有特殊的客户端,所以访问用户的权限检测可以通过客户端实现或通过客户端+服务器检测实现,而B/S中,浏览器是每一台计算机都已具备的,如果不建立一个完整的权限检测,那么一个“非法用户”很可能...

2013-12-11 09:54:10 891 0

原创 大数据技术大会总结 - 6号

未完

2013-12-10 10:11:22 1789 0

原创 大数据技术大会总结 - 5号

2013年12月5日-6日参加了为期两天的2013中国大数据技术大会(Big Data TechnologyConference, BDTC2013),本期会议主题是:“应用驱动的架构与技术 ”。会议分为全体会议和7个的“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”、“...

2013-12-10 09:58:29 2468 1

原创 java下载地址

找起来蛋疼的下载地址啊 http://www.oracle.com/technetwork/java/javase/downloads/index.html

2013-11-27 11:00:31 683 0

原创 最火爆的开源流式系统Storm vs 新星Samza

最火爆的开源流式系统Storm vs 新星Samza

2013-11-24 23:17:45 8829 2

原创 Storm集群环境安装部署

1.    准备工作 搭建Strom集群,需要以下软件: l  Zookeeper l  Python l  Zeromq l  Storm    l  JDK l  JZMQ 2.    安装JDK l  下载jdk-6u45-linux-x64-rpm.bin l  安装...

2013-11-22 10:15:18 2688 0

原创 Postgresql 安装与配置

1.      下载Postgres SQL 下载地址为:http://www.postgresql.org/ftp/source 2.      安装Postgres SQL l  tar xvzf postgresql-8.4.0.tar.gz l  ./configure --prefix=...

2013-11-22 10:07:54 1278 0

原创 Maven库

json-lib是需要区分jdk版本的,pom.xml中的配置应加上标签,如用jdk15: net.sf.json-lib json-lib 2.2.3 jdk15 总之,以上标签是必须的,如果还是Missing,...

2013-11-18 19:58:05 2043 0

转载 Centralized Logging Architecture

In Centralized Logging, I covered a few tools that help with the problem of centralized logging. Many of these tools address only a portion of the pr...

2013-11-08 13:15:09 1509 0

提示
确定要删除当前文章?
取消 删除