自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小小怪下士

Hadoop、Hbase、Storm

  • 博客(101)
  • 资源 (2)
  • 收藏
  • 关注

转载 GitBook制作电子书详细教程(命令行版)

GitBook 是一款基于 Node.js 开发的开源的工具,可以通过命令行的方式创建电子书项目,再使用 MarkDown 编写电子书内容,然后生成 PDF、ePub、mobi 格式的电子书,或生成一个静态站点。除此之外,还可以利用 Git 命令管理电子书版本。如果你是 GitHub 的重度使用者,还可以把你的 GitBook 帐户和 GitHub 帐户关联起来,这样不论在任何一方修改了内

2017-07-28 17:58:45 971

转载 Elasticsearch之es学习工作中遇到的坑

1:es集群脑裂问题(不要用外网ip,节点角色不要混用)  原因1:阿里云服务器,外网有时候不稳定。    解决方案:单独采购服务器,内网安装  原因2:master和node节点没有分开  解决方案:    分角色:master节点(三台),data节点(随着数据增加而增加),client(随着查询压力而增加)节点    Master节点:node

2017-07-18 10:50:22 520

转载 使用ganglia监控hadoop及hbase集群

介绍性内容来自:http://www.uml.org.cn/sjjm/201305171.asp一、Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的

2016-06-21 17:46:34 469

转载 源码分析shiro认证授权流程

1. shiro介绍Apache Shiro是一个强大易用的Java安全框架,提供了认证、授权、加密和会话管理等功能: 认证 - 用户身份识别,常被称为用户“登录”;授权 - 访问控制;密码加密 - 保护或隐藏数据防止被偷窥;会话管理 - 每用户相关的时间敏感的状态。对于任何一个应用程序,Shiro都可以提供全面的安全管理服务。并且相对于其他安全框架,Shiro要简单的多。

2016-04-21 10:21:44 460

转载 ionic build android Could not resolve com.android.tools.build:gradle:1.5.0

FAILURE: Build failed with an exception.* What went wrong:A problem occurred configuring root project 'android'.> Could not resolve all dependencies for configuration ':classpath'.   > Cou

2016-04-18 18:22:10 4171

转载 CMD 和 Git 中的代理设置

CMD 和 Git 中的代理设置CMD 设置代理在 cmd 环境下设置代理可能不是很常用,但是某些情况下还是可能会用到,比如公司的电脑只能通过设置代理访问外网,而你需要在 cmd 环境下使用 gem 命令更新文件时。当然,如果你使用某些代理软件为所有通讯设置了代理,那就不需要这些设置了。为 cmd 设置代理很简单,首先打开 cmd (win + R,输入 cmd,然后按 ent

2016-04-18 11:42:02 396

转载 Session机制详解

虽然session机制在web应用程序中被采用已经很长时间了,但是仍然有很多人不清楚session机制的本质,以至不能正确的应用这一技术。本文将详细讨论session的工作机制并且对在Java web application中应用session机制时常见的问题作出解答。    一、术语session     在我的经验里,session这个词被滥用的程度大概仅次于transacti

2016-02-21 09:18:49 296

转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式)介绍

一、普通同步方式二、事务方式(Transactions)三、管道(Pipelining)四、管道中调用事务五、分布式直连同步调用六、分布式直连异步调用七、分布式连接池同步调用八、分布式连接池异步调用九、需要注意的地方十、测试十一、完整的测试代码jedis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,支持事务、管

2016-02-18 17:22:21 349

转载 keystore提取私钥和证书

keytool -genkey -alias test -keyalg RSA -keystore c:/key.store生成keyStoreRSA是一个既能用于数据加密也能用于数字签名的算法。DSA(Digital Signature Algorithm,数字签名算法,用作数字签名标准的一部分),它是另一种公开密钥算法,它不能用作加密,只用作数字签名。DSA使用公开密钥

2016-01-21 11:48:24 1628

转载 httpclient 4.3及以上版本,发送和接收https

关于证书的生成,请参考:双向认证,证书生成方法 方法一:数据以json的格式发送          public void testHttps(){                                      try {                            String url ="https://localhost:84

2016-01-21 11:42:02 669

转载 https双向认证(基于程序访问,j2ee和android上皆可用)

引用:http://my.oschina.net/jjface/blog/339144概述:客户端,浏览器或者使用http协议和服务器通信的程序。如:客户端通过浏览器访问某一网站时,如果该网站为HTTPS网站,浏览器会自动检测系统中是否存在该网站的信任证书,如果没有信任证书,浏览器一般会拒绝访问,IE会有一个继续访问的链接,但地址栏是红色,给予用户警示作用,即客

2016-01-21 11:41:24 579

转载 Tomcat6配置SSL的方法

转自:http://blog.csdn.net/xueyepiaoling/article/details/6138798因为做项目测试的时候,用到了https,所以现在需要在tomcat中配置SSL。 tomcat6配置双向认证 1、生成服务器端证书[java] view plain copykeytoo

2016-01-21 11:39:06 565

转载 keytool用法总结

内容概览:keytool的几个常用的命令。1.创建证书2.查看证书库3.导出证书文件4.导入证书的信息5.查看证书信息6.删除密钥库中的条目7.修改证书条目的口令-----------------------------------------------------------------------------------

2016-01-21 10:51:21 594

转载 http 之session和cookie

http 之session和cookiehttp://www.cnblogs.com/ForEverKissing/archive/2008/05/23/1205503.htmlSession简介摘要:虽然session机制在web应用程序中被采用已经很长时间了,但是仍然有很多人不清楚session机制的本质,以至不能正确的应用这一技术。本文将详细讨论session的工作机制并

2016-01-18 14:59:55 304

转载 如何编写一个JSON解析器

编写一个JSON解析器实际上就是一个函数,它的输入是一个表示JSON的字符串,输出是结构化的对应到语言本身的数据结构。和XML相比,JSON本身结构非常简单,并且仅有几种数据类型,以Java为例,对应的数据结构是:"string":Java的String;number:Java的Long或Double;true/false:Java的Boolean;null:Java的null;[

2015-12-31 11:18:43 597

转载 FastJSON 简介及其Map/JSON/String 互转

原文:http://lavasoft.blog.51cto.com/62575/723192FastJSON 应用前测试 FastJSON是一个很好的java开源json工具类库,相比其他同类的json类库,它的速度的确是fast,最快!但是文档做得不好,在应用前不得不亲测一些功能。 实际上其他的json处理工具都和它差不多,api也有几分相似。 一、JSON规范

2015-12-29 15:06:11 4573

转载 JDBC利用游标分页查询

public void getData(String sql,int startNo,int maxCount){  Connection conn = ConnectionUtil.getConnection();  try {//   conn.prepareStatement(sql,游标类型,能否更新记录);//      游标类型://       ResultSet

2015-12-18 11:53:42 4363

转载 23种设计模式

转自:http://blog.csdn.net/beijiguangyong/article/details/6010756目录创建型1. Factory Method(工厂方法)2. Abstract Factory(抽象工厂)3. Builder(建造者)4. Prototype(原型)5. Singleton(单例)结构型6. Adapter Cl

2015-12-09 10:32:33 329

转载 HTTP协议详解

转自:http://blog.csdn.net/gueter/archive/2007/03/08/1524447.aspxAuthor :Jeffrey引言                                        HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。它于1990年提出,经过几年的使用与发展,得到不

2015-12-04 14:12:31 313

转载 BI商业智能概述——大数据时代

欢迎光临商业智能和数据仓库爱好者中心。(1)        老板,你要这么多数据做什么? 假如你是一个商品零售公司的老板。你的公司很先进,已经实现了业务信息化,每一笔销售单据都保存在数据库中,日积月累,已经保存了十余年的销售数据,上亿条销售记录。这时如果我问你:“反正三年前的数据留着也白白占地方,耗费存储成本,索性把它们全删掉吧,这样不用买硬盘就能容纳新数据,如何?”你会从容的

2015-09-15 10:30:56 707

转载 sparkSQL1.1入门

http://blog.csdn.net/book_mmicky/article/details/392887152014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。      Spark1.1.0中变化较大是sparkSQL和M

2015-09-10 16:50:03 729

原创 mybatis JDBC类型

BIT         FLOAT      CHAR           TIMESTAMP       OTHER       UNDEFINEDTINYINT     REAL       VARCHAR        BINARY          BLOB       NVARCHARSMALLINT    DOUBLE     LONGVARCHAR    VARBIN

2015-09-06 15:06:19 264

转载 mybatis3.2.8 与 hibernate4.3.6 混用

mybatis、hibernate这二个框架各有特色,对于复杂的查询,利用mybatis直接手写sql控制起来更灵活,而一般的insert/update,hibernate比较方便。同一个项目中,这二个框架可以和谐共存,下面是一些步骤:一、版本要求Spring 4.11 + hibernate 4.3.6 + mybatis 3.2.8 + struts 2.3.16.3

2015-09-06 14:26:43 2068

转载 Storm实时计算:流操作入门编程实践

Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念:TopologyStorm中Topology的概念类似于Hadoop中的MapReduce Job,是一个用来编排、容纳一组计算逻辑组件(Spout、Bolt)的对象(Hadoop MapReduce中一个Jo

2015-08-17 18:36:18 597

转载 spark搭建

spark环境搭建:http://blog.csdn.net/stark_summer/article/details/42458081http://blog.csdn.net/hxpjava1/article/details/19177913

2015-07-21 17:07:23 308

转载 nginx 配置高并发

一、一般来说nginx 配置文件中对优化比较有作用的为以下几项:1.  worker_processes 8;nginx 进程数,建议按照cpu 数目来指定,一般为它的倍数 (如,2个四核的cpu计为8)。2.  worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 0100000

2015-07-14 10:55:23 389

转载 Memcached Client简要介绍

Memcached Client目前有3种: Memcached Client for JavaSpyMemcachedXMemcached这三种Client一直存在各种争议: Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛;SpyMemcached 比 Memcached Client for Java更高效;XMem

2015-06-16 16:18:38 376

转载 solr4.7新建core

Solr里面的core就像数据库里面的一个表,用来管理索引和相关配置。 一、使用示例core下载的solr完整包里面solr-4.7.0\example\multicore这个文件夹下面有2个示例core;分别是core0和core1;如下图:随便拷贝个到 $SOLR_HOME$,$SOLR_HOME$在什么地方配置的呢,就是你solr的web服

2015-06-03 11:01:53 427

转载 干货!大数据量下,58同城mysql实践

WOT(World Of Tech)2015,互联网运维与开发者大会将在北京举行,会上58同城将分享《大数据量下,58同城mysql实战》的主题,干货分享抢先看。  1)基本概念  2)常见问题及解决思路  3)拆库实战  4)拆库后业务实战  5)总结  一、基本概念  大数据量下,搞mysql,以下概念需要先达成一致  1)单库,

2015-04-17 17:52:27 541

转载 Java 正则表达式详解

如果你曾经用过Perl或任何其他内建正则表达式支持的语言,你一定知道用正则表达式处理文本和匹配模式是多么简单。如果你不熟悉这个术语,那么“正则表达式”(Regular Expression)就是一个字符构成的串,它定义了一个用来搜索匹配字符串的模式。正则表达式30分钟入门教程常用正则表达式许多语言,包括Perl、PHP、Pytho

2015-04-01 13:25:31 314

原创 &nbsp|&quot|&amp|&lt|&gt等html字符转义

提示:请直接按CTRL+F搜索您要查找的转义字符。常用表:No.文字表記10進表記16進表記文字 Comment001"""""" quotation mark = APL quote00

2015-03-30 10:46:31 700

转载 Apache 日志管理

转来的文章,出处:http://blog.csdn.net/octobereva/archive/2007/10/29/1854886.aspx配置访问日志 CustomLog CustomLog 指令用来对服务器的请求进行日志记录。格式为:  格式1:CustomLog 访问日志文件名 记录格式说明串|格式昵称 格式2:CustomLog "|管道程序名

2015-03-30 10:35:42 360

转载 什么是Base64以及sun.misc.BASE64Decoder的用法

Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一,大家可以查看RFC2045~RFC2049,上面有MIME的详细规范。Base64要求把每三个8Bit的字节转换为四个6Bit的字节(3*8 = 4*6 = 24),然后把6Bit再添两位高位0,组成四个8Bit的字节,也就是说,转换后的字符串理论上将要比原来的长1/3。这样说会不会太抽象了?不怕,我们来看一个例子

2015-03-06 09:45:21 726

转载 Struts2注解功能说明

我们知道通常情况下,Struts2是通过struts.xml配置的。但是随着系统规模的加大我们需要配置的文件会比较大,虽然我们可以根据不同的系统功能将不同模块的配置文件单独书写,然后通过节点将不同的配置文件引入到最终的struts.xml文件中,但是毕竟还是要维护和管理这些文件,因此也会给维护工作带来很大的困扰。为了解决这个问题,可以考虑使用struts2的注解。实际上struts2中最主

2015-01-22 10:29:14 435

转载 Spring配置连接池

 不管通过何种持久化技术,都必须通过数据连接访问数据库,在Spring中,数据连接是通过数据源获得的。在以往的应用中,数据源一般是 Web应用服务器提供的。在Spring中,你不但可以通过JNDI获取应用服务器的数据源,也可以直接在Spring容器中配置数据源,此外,你还可以 通过代码的方式创建一个数据源,以便进行无依赖的单元测试 配置一个数据源     Spring在第三方依赖包

2015-01-21 15:03:30 448

转载 Java对存储过程的调用方法

一:Java如何实现对存储过程的调用:   A:不带输出参数的   ---------------不带输出参数的----------------------------------create procedure getsum@n int =0asdeclare @sum intdeclare @i intset @sum=0set @i=0wh

2014-12-08 18:35:09 471

原创 hive总结

1.hive 数据类型 http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html 2.substr('abc',0,2) = ab mysql 是从1开始的 select * from online_server where substr(count_time,1,10)='2011-12-11'

2014-11-21 13:14:32 2056

转载 expect

expect用法1. [#!/usr/bin/expect] 这一行告诉操作系统脚本里的代码使用那一个shell来执行。这里的expect其实和linux下的bash、windows下的cmd是一类东西。 注意:这一行需要在脚本的第一行。 2. [set timeout 30] 基本上认识英文的都知道这是设置超时时间的,现在你只要记住他的计时单位是:秒   。tim

2014-11-19 13:46:38 428

转载 linux expect自动登录ssh,ftp

expect是一种能够按照脚本内容里面设定的方式与交互式程序进行“会话”的程序。根据脚本内容,Expect可以知道程序会提示或反馈什么内容以及 什么是正确的应答。它是一种可以提供“分支和嵌套结构”来引导程序流程的解释型脚本语言。shell功能很强大,但是不能实现有交互功能的多机器之前的操作,例如ssh和ftp.而expect可以帮助我们来实现.一,安装expecty

2014-11-19 10:11:39 462

转载 Hive 参数

hive.exec.max.created.files•说明:所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000  hive.exec.dynamic.partition•说明:是否为自动分区 •默认值:false hive.mapred.reduce.tasks.speculative.

2014-11-04 09:49:22 427

Ace Admin v1.3.3 官方版本 bootstrap

HTML5+Bootstrap3.31 本地可以直接查看使用

2015-09-17

软件架构师的12项修炼 全

《软件架构师的12项修炼》内容简介:每一位软件开发人员都有一个架构师的梦,但为何真正的软件架构师却寥寥无几?软件开发人员更容易在技术上有所积累和突破,但是技术上的精湛并不足以使你成为一位优秀的软件架构师。合格的软件架构师究竟应该具备哪些能力和素养?本书科学而系统地归纳出软件架构师应该具备的完整能力模型,该能力模型呈一金字塔结构,共分为4层:位于最底层的是技术技能,是软件架构师的基石,属于硬技能;从下往上的三层分别是关系技能、个人技能和商务技能,这些都属于软技能。由于硬技能会随着具体技术领域的不同而千差万别,因此本书假定读者已经具备了这方面的技能;但其他3大方面的软技能却在每个技术领域都适用,是每一位软件架构师的必修课,这是《软件架构师的12项修炼》的核心内容。 为了便于认知和实践,《软件架构师的12项修炼》将3大方面的软技能分为12项:关系技能包含文雅的举止(在任何环境下都能与人文雅相处的能力)、沟通(与人有效交互的能力)、协商(将事情办成的能力)、领导力(通过施加影响力将事情办成的能力)和政治(“政治场合”与人交互的能力)等5项;个人技能包含透明化(使自我、团队关系和项目透明化的能力)、激情(激发和保护激情的能力)和语境切换(将注意力迅速切换到新语境并保持专注的能力)等3项;商务技能包括商务知识(读懂商务语言的能力和了解产品与顾客的能力)、创新(如何通过学习和思考来创新的能力)、实用主义(抓住关键问题的能力)、认知(认知目标、战略及合作伙伴的能力)等4项。 《软件架构师的12项修炼》不仅帮助软件开发人员系统地学习如何修炼这12项软技能,而且还能让他们进一步理解软件架构师的角色和本质,使他们最终突破技术的“天花板”,成为一名合格的软件架构师。">《软件架构师的12项修炼》内容简介:每一位软件开发人员都有一个架构师的梦,但为何真正的软件架构师却寥寥无几?软件开发人员更容易在技术上有所积累和突破,但是技术上的精湛并不足以使你成为一位优秀的软件架构师? [更多]

2013-12-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除