自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

simon的专栏

好记性不如烂笔头

  • 博客(27)

原创 搭建hbase HA集群

前言:下载hbase的版本为1.0.0-cdh5.5.1,安装好hadoop和zookeeperhbase集群架构主节点:172.16.12.85从节点:172.16.12.88数据节点:172.16.12.91,172.16.12.94,172.16.12.97zookeeper集群架构172.16.12.85,172.16.12.88,172.16.12.9

2015-12-29 10:39:13 1049

原创 hadoop 2.6 HA搭建

准备条件zookeeper集群已配置好(172.16.12.85,172.16.12.88,172.16.12.91),并且zookeeper集群已启动,zookeeper版本为zookeeper-3.4.5-cdh5.4.2ssh都已配置好hadoop版本为2.6.0-cdh5.5.1集群规划第一步,配置core-site.xml文件。

2015-12-23 16:42:58 611

转载 log4j日志配置详解

一、Log4j简介Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别,并可以在运行时控制日志输出的样式和位置。1、LoggersLoggers组件在此系统中被分为五个级别:DEBUG、

2015-12-04 14:29:54 373

转载 redis.conf配置文件说明

# redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候,必须要带上单位,# 通常的格式就是 1k 5gb 4m 等酱紫:## 1k  => 1000 bytes# 1kb => 1024 bytes# 1m  => 1000000 bytes# 1mb => 1024*1024 bytes# 1g  => 1000000000 bytes#

2015-12-03 15:34:52 423

原创 vi编辑器的各种命令总结

光标控制命令命令   光标移动h或^h   向左移一个字符j或^j或^n  向下移一行k或^p   向上移一行l或空格   向右移一个字符G   移到文件的最后一行nG   移到文件的第n行w   移到下一个字的开头W   移到下一个字的开头,忽略标点符号b   移到前一个字的开头B   移到前一个字的开头,忽略标点符号L   移到屏幕的最后

2014-07-29 20:26:02 596

原创 JMeter对Vertica数据库的测试

利用jmeter对mysql数据库进行压力测试 前期准备工作: Jmeter的安装包可以在公司W:\engineering\software\linux\jmeter下可以找到。Jmeter的运行需要java环境的支持的,要运行jmeter首先要安装JDK java运行环境,此安装包可以在公司的W:\engineering\software\linux\java 下找到。此外要使用jmet

2014-07-01 11:21:10 634

转载 mysql免安装文件怎么使用

1.准备工作下载mysql的最新免安装版本mysql-noinstall-5.1.53-win32.zip,解压缩到相关目录,如:d:\ mysql-noinstall-5.1.53-win32。这个就是mysql的根目录了。2.配置在根目录下有几个文件如下:my-small.ini (这是针对一个小内存(〈= 64MB)的系统,MySQL 只会被时不时地用一下,很重要的是

2014-06-29 09:31:26 606

转载 linux系统挂载分区

 Linux的云服务器数据盘未做分区和格式化,可以根据以下步骤进行分区以及格式化操作。一:登陆用Linux 的SSH 登陆软件(xshell 或者putty) 登陆阿里云主机服务器。 二:查看主机数据盘在没有分区和格式化数据盘之前,使用 “df –h”(回车)命令,是无法看到数据盘的,可以使用“fdisk -l”(回车)命令查看。如下图:

2014-06-25 23:17:36 540

原创 Linux命令的一些总结

1,linux有个根目录就是以/为代表的目录

2014-04-15 00:58:58 632

原创 MapReduce程序打jar要注意的事项

package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import or

2014-04-13 23:11:49 906

转载 Eclipse中常用快捷键总结

今天看了一段用MyEclipse开发一个小程序的视频,作者不知道使用了什么快捷键,一下子代码都自动排版好了,很是爽,于是到处找,在eclipse.org.cn没找到,于是Google,终于让我逮到,原来是Ctrl+Shift+F,程序代码自动排版。在找的过程中,有一大堆的其他快捷键,网上的版本也是层出不穷,什么常用版,什么实用版,很是让人眼花缭乱,收藏一下吧,以后用的着,以下有好多版本的,都贴在一

2014-04-04 15:12:48 951

转载 Linux中10个有用的命令行补齐命令

本文由 极客范 -踏雁寻花 翻译自Balakrishnan Mariyappan。欢迎加入极客翻译小组,同我们一道翻译与分享。转载请参见文章末尾处的要求。在Linux系统中,输入一个命令,再按两次TAB键,就会列出所有以输入字符开头的可用命令。这并不新鲜,很可能你已经知道了这个。这个功能被称作命令补全。默认情况下,bash命令行可以自动补全文件或目录名称。不过,我们可以

2014-04-04 09:46:21 975

原创 无法读取tomcat输出流的问题

javax.imageio.IIOException: Can't create output stream!        at javax.imageio.ImageIO.write(ImageIO.java:1560)如果你的java程序跑出这种异常,则是你的tomcat的根目录下的temp目录不存在导致的,只要在bin的同级目录下创建一个temp目录即可!

2014-03-21 16:10:13 765

转载 java的单点登录

摘要:单点登录(SSO)的技术被越来越广泛地运用到各个领域的软件系统当中。本文从业务的角度分析了单点登录的需求和应用领域;从技术本身的角度分析了单点登录技术的内部机制和实现手段,并且给出Web-SSO和桌面SSO的实现、源代码和详细讲解;还从安全和性能的角度对现有的实现技术进行进一步分析,指出相应的风险和需要改进的方面。本文除了从多个方面和角度给出了对单点登录(SSO)的全面分析,还并且讨论了如何

2014-03-18 11:18:52 639

转载 Hbase理论知识详解

表在行方向上,按照行key范围划分成若干的Region每个表最初只有一个region,当记录数增加到超过某个阀值时,开始分裂成两个region物理上所有数据存放在HDFS,由Region服务器提供region的管理一台物理节点只能跑一个HRegionServer一个Hregionserver可以管理多个Region实例一个Region实例包括Hlog日志和存放数据的Stor

2014-03-17 17:10:09 593

转载 Hbase的架构和原理

一、架构思路    Hbase是基于Hadoop的项目,所以一般情况下我们使用的直接就是HDFS文件系统,这里我们不深谈HDFS如何构造其分布式的文件系统,只需要知道虽然Hbase中有多个RegionServer的概念,并不意味着数据是持久化在RegionServer上的,事实上,RegionServer是调度者,管理Regions,但是数据是持久化在HDFS上的。明确这一点,在后面的讨论中,

2014-03-17 17:05:09 749

转载 Zookeeper的常用方法举例

表 1 org.apache.zookeeper. ZooKeeper 方法列表方法名方法功能描述Stringcreate(String path, byte[] data, ListACL> acl,CreateMode createMode)创建一个给定的目录节点 path, 并给它设置数据,CreateMode 标识有四种形式的目录节点,分别是

2014-03-17 15:27:57 608

原创 Zookeeper简介

Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理,后面将会详细介绍 Zookeeper 能够解决的一些典型问题,这里先介绍一下,Zookee

2014-03-17 15:24:46 497

转载 Zookeeper,Hbase,hadoop之间的联系

这里有几个主要关系:1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flushto disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。2.ZooKeeper跟HadoopCore、HBase有什么关系呢?ZooKeeper都提供了哪些服务呢?主要有:管理Had

2014-03-17 14:59:30 834

转载 Hbase的简介

一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache

2014-03-17 14:49:07 619

原创 Hadoop如何搭建集群

1.hadoop集群搭建方式1.1 确定部署三个节点,分别是hadoop0、hadoop1、hadoop2。    其中hadoop0是主节点(NameNode、JobTracker、SecondaryNameNode),hadoop1、hadoop2是从节点(DataNode、TaskTracker)。1.2 解压的linux镜像文件,自己配置linux的初始化环境,

2014-03-09 22:21:09 939

原创 hadoop程序在MyEclipse中打jar时要注意的事项

首先你的类得extends Configured implements Tool,并且实现tool的run方法。下面我把代码贴出来,如图package cmd;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo

2014-03-04 23:42:00 1276

原创 java程序在eclipse中打jar包

选中你要打jar包的项目,然后右键选择Export.如图选择java中的jar选项.如图选中你要打jar包的项目,并填写你要输出的jar包名称,如图4,选择你打jar包项目的main函数所在的类,并确定.如图至此,一个项目打jar包完成,希望对你有帮助!

2014-03-04 10:43:58 887

转载 Hadoop 1与Hadoop 2的区别

对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 MapReduce 框架图:图 1.Hadoop 原 MapReduce 架构从上图中可以清楚的看出原

2014-03-03 09:44:29 4452

原创 hadoop常用命令

-help //显示命令的帮助信息 -ls(r) //显示当前目录下所有文件 -du(s) //显示目录中所有文件大小 -count[-q] //显示目录中文件数量 -mv //移动多个文件到目标目录 -cp   //复制多个文件到目标目录 -rm(r) //删除文件(夹)-put //本地文件复制到hdfs-copyFromLocal //同put-moveFro

2014-02-27 00:06:00 722

原创 Linux的操作命令

1,相对路径 ... ~2,目录跳转 cdxxx(就是你想进入的目录)3,创建文件 touch4,查看文件 more,cat5,查看目录 ls -alr6,创建目录 mkdir -p7,复制文件 cp8,删除文件 rm -r xxx9,修改文件权限 chmod -R 70010,修改文件夹的所有者 chown -R root:root xxx11

2014-02-26 23:50:06 674

转载 oauth 2.0

I:OAuth 2.0 开发前期准备天上不会自然掉馅饼让你轻松地去访问到人家资源服务器里面的用户数据资源,所以你需要做的前期开发准备工作就是把AppKey, AppSecret取到手 新浪获取传送门,腾讯获取传送门这里说一下,在申请AppKey和AppSecret的过程中,新浪和腾讯的申请做法是有区别的。在新浪微博的AppKey,AppSecret申请时会验证你是否拥有域名的所

2013-12-04 11:20:51 588

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除