自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

热爱生活,热爱技术的大彪

趁着年轻,多做一些老了会惊叹的事!

  • 博客(79)
  • 资源 (9)
  • 论坛 (4)
  • 收藏
  • 关注

转载 This howto guide shows you’ll how to enable EPEL repository under RHEL/CentOS 6/5 to install additio

This howto guide shows you’ll how to enable EPEL repository under RHEL/CentOS 6/5 to install additional standard open source packages by using YUM command.Install EPEL Repository in Linux

2016-01-21 20:13:08 721

原创 Linux - Virsh

virsh命令suspendresumedumpxml KVM平台以存储池的形式对存储进行统一管理,所谓存储池可以理解为本地目录、通过远端磁盘阵列(iSCSI、NFS)分配过来磁盘或目录,当然也支持各类分布式文件系统。存储池(Storage pools)是放置虚拟机的存储位置,可以是本地的,也可以是网络存储,具体的虚拟机实例放置在卷(Volume

2015-07-25 00:21:54 1164

原创 NFS安装和配置

------------------------------------------------------------------------------------------------------------------NFS就是Network File System的缩写,最早是由Sun公司发展开发出来的,它最大的功能就是可以通过网络,让不同计算机,不同操作系统,可以共享资源文件。用户和

2015-07-25 00:16:12 978

原创 KVM 【SNAT/DNAT2种配置实现以及扁平化网络模式(flat)实现/virsh2种动态迁移实现】

-------------------------------------------------------------------------###KVM SNAT配置过程-------------------------------------------------------------------------#增加一个br0网桥(不跟任何网卡绑定)brctl addbr br0

2015-07-25 00:05:11 1252

原创 Vmware qemu-kvm 虚拟化测试

[root@kvm1 cloud]# lsmod | grep kvmkvm_intel 55496 3 kvm 337772 1 kvm_intel[root@kvm1 cloud]# egrep "(vmx|svm)" --color /proc/cpuinfo flags : fpu vme de

2015-07-24 23:58:13 1249

原创 Linux bridge-utils tunctl 使用

网络brctl是Linux下用来管理以太网桥,在内核中建立、维护、检查网桥配置的命令STP - Spanning Tree Protocol(生成树协议)逻辑上断开环路,防止二层网络的广播风暴的产生以dhcp模式启用 'eth0'在计算机网络中,TUN与TAP是操作系统内核中的虚拟网络设备。不同于普通靠硬件网路板卡实现的设备,这些虚拟的网络设备全部用软件实现,并向运行于操作系统上的软件提供

2015-07-24 23:50:09 4091

原创 03-类加载器

类加载器        类加载定义:通过一个类的全限定名来获取描述此类的二进制流来获取所需要的类的动作            类从被加载到虚拟机内存中开始,到卸载出内存生命周期分为以下7个阶段:        加载(Loading) -> 【验证(Verification) -> 准备(Preparation) -> 解析(Resolut

2015-07-24 23:46:01 614

原创 Unable to create a deployment for VM[User|i-2-6-VM]

错误:Unable to create a deployment for VM[User|i-2-6-VM]cloudstack添加实例时,host内存给小了。原来是4G,给它8G再添加就好了。

2015-07-21 22:46:06 3059

原创 02-Reference & GC

一、引用    Java中引用的定义很传统:如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址,就称这块内存代表着一个引用。这个定义很纯粹,但是太过狭隘,一个对象在这种定义下只有被引用或者没有被引用两种状态,对于如何描述一些“食之无味弃之可惜”的对象就显得无能为力。我们希望能描述这样一类对象:当内存空间还足够时,则能保存在内存中;如果内存在进行垃圾收集后还是非常紧张

2015-07-16 19:17:03 566

原创 01-Jvm 内存区域复习笔记

Java内存区域        1.程序计数器(Program Counter Register)        在虚拟机中一块较小的内存空间,它的作用可以看做是当前线程所执行的字节码的行号指示器。 在虚拟机的概念模型里(仅是概念模型,各种虚拟机可能会通过一些更高效的方式去实现),字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指

2015-07-16 12:52:19 605

原创 Hadoop 2.4.1 搭建Ha遇到问题记录

15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled. // 明明我配置了H

2015-07-08 22:35:00 7540

原创 Spark 通讯模块 以及常用分布式通讯方式

Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.常用分布式通信方式:    1. RPC(Remote Produce Call)                RPC远程过程调用协议,基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求,不用自己编写底层通讯机制。通过网络向服务器发

2015-07-08 22:29:25 660

原创 spark 1.3.1 master 源码初探01

首先打开远程调试:    1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试           export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"    2.IDE

2015-07-08 22:15:52 954

原创 StormDRPC 概念以及简单例子测试

Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。 DRPC其实不能算是storm本身的一个特性, 它是通过组合storm的原语spout,bolt, topology而成的一种模式(pattern)。Storm

2015-07-08 22:10:31 3176

转载 ZooKeeper典型应用场景一览

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是,ZK并非天生就是为这些应用场景设计的,都是后来众多开发者根据其框架的特性,利

2015-06-25 22:40:12 455

原创 Zookeeper实现分布式锁

package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedE

2015-06-25 22:38:57 466

原创 Zookeeper实现服务上下线监控服务列表

package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedE

2015-06-25 22:37:24 1830

原创 MapReducer-找共同好友

package com.billstudy.mr.friends;import java.io.IOException;import java.util.Arrays;import java.util.concurrent.TimeUnit;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.

2015-06-25 22:31:04 579

转载 vim配置

runtime! debian.vim"设置编码set encoding=utf-8set fencs=utf-8,ucs-bom,shift-jis,gb18030,gbk,gb2312,cp936set fileencodings=utf-8,ucs-bom,chinese "语言设置set langmenu=zh_CN.UTF-8 "设置语法高亮syntax enable

2015-06-18 07:49:05 378

原创 Lvs + Ngnix + Haproxy + Keepalived + Tomcat 实现三种HA软负载均衡和Tomcat Session共享

环境准备:一、11台测试机器    hostname:v1 ~ v10   (10台测试机)    ip:192.168.33.81(v1) ~ 192.168.33.90(v101)    由于在内网测试,需要搭建个内网yum源,方便安装软件。yum所在机器为192.168.33.101二、待实现功能    下面分别使用haprox

2015-06-09 21:50:14 2591

原创 HDFS写文件解析

client通过DistributedFileSystem对象调用create()方法创建文件,实际上通过RPC调用了NameNode的方法。NameNode收到client的请求之后,执行各种检查(1.确认要传文件目前在HDFS上不存在,2.client具有写的权限)如果通过则会为新文件创建一条记录,并返回一个FSDataOutputStream对象,该对象负责DataNode和NameNode

2015-06-02 22:46:40 619

转载 CentOS6.4配置163的yum源

CentOS系统自带的更新源的速度实在是慢,为了让CentOS6使用速度更快的YUM更新源,可以选择163(网易)的更新源。1.下载repo文件wget http://mirrors.163.com/.help/CentOS6-Base-163.repo2.备份并替换系统的repo文件[root@localhost ~]# cd /etc/yum.repos.d/[root

2015-06-02 22:45:35 458

原创 sqoop 和mysql相关操作

数据迁移工具,可以和RDBMS相互迁移数据需要先将db driver copy to sqoop lib dir注意:    sqoop是以mapreduce的方式来运行任务的,用hdfs来存储数据的。所以依赖NameNode和ResourceManager,只要机器上配置了这两个就可以正常运行,程序运行时会自动读取环境变量.

2015-06-02 22:42:47 426

原创 HBase shell

进入hbase命令行./hbase shell显示hbase中的表list创建user表,包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息,row

2015-06-02 22:40:15 435

原创 hbase 概念 + 搭建分布式HA应用

HBase - Hadoop Databasehbase的设计思想来自于google的bigtable主键:Row Key主键是用来检索记录的主键,访问Hbase table 中的行,只有三种方式通过单个Row Key 访问通过Row Key 的range全表扫描列族:Column Family列族

2015-06-02 22:39:46 667

原创 hadoop版本与支持的hbase版本对照表

As of Hive 0.9.0 the HBase integration requires at least HBase 0.92, earlier versions of Hive were working with HBase 0.89/0.90以下内容来自下载的HBASE-0.94.7的book中( $HBASE_HOME/docs/book/configuration.ht

2015-05-27 22:22:03 540

原创 UNIX 读书笔记01

标准输出流默认不能随着管道流下,可以使用如下脚本:ls n* 2> errors   2> 代表标准错误流的处理方式跟随标准输出流保持一致vim:1,$s/^/爱/  给从第一行开始每行行头加上”爱“15,$s/$/爱  给从第15行开始每行行尾加上“爱”1,$s/[0-9]/*/g 将所有的数字替换成*1,$s/[^

2015-05-27 22:20:47 457

转载 Linux负载均衡集群之LVS原理

一、 LVS简介        LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了

2015-05-27 22:16:11 487

转载 四层和七层负载均衡

简单理解四层和七层负载均衡:①所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡;同理,还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说,二层负载均衡会通过一个虚拟MAC地址接收请求,然后再分配到真实的MAC地址;三层负载均衡会通过一个虚拟IP地址接收请求,然后再分配到真实的IP地址;四层通过虚拟IP+端口接收请求,然后再分配到真实的服务器;

2015-05-27 22:15:07 396

原创 eclipse 远程调试hadoop代码

zxxJPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface 和 JDI)、一个协议(Java Debug Wire Protocol)和两个用于合并它们的软件组件(后端和前

2015-05-27 22:14:10 1092

原创 iptables 简单配置示例

iptables防火墙简介iptables/netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具,它的功能十分强大,使用非常灵活,可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。防火墙果汁的执行顺序默认是从前到后依次执行,遇到匹配的规则就不在继续向下检查,若果遇到不匹配的

2015-05-27 22:12:43 948

原创 haproxy + keepalived 实现简单负载均衡高可靠

ip addr add 192.168.50.50/24 dev etho   添加辅助ip  ip addr del 192.168.50.50/24 dev etho   删除辅助ip  脑裂:某种原因导致集群各节点之间无法通讯,各自都为master或者slavekillall -0 haproxy   不杀死进程,只是用作检测。

2015-05-27 22:11:06 789

原创 HDFS读取文件步骤

client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem(DFS),它通过RPC请求到Namenode.Namenode收到请求后,对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。(就近原则)DFS获取到BlockLocations后,可以根据当前读取偏移量计算指定DataNode并进行通讯,返

2015-05-27 22:08:44 938

转载 洞悉linux下的Netfilter&iptables:什么是Netfilter?

本人研究linux的防火墙系统也有一段时间了,由于近来涉及到的工作比较纷杂,久而久之怕生熟了。趁有时间,好好把这方面的东西总结一番。一来是给自己做个沉淀,二来也欢迎这方面比较牛的前辈给小弟予以指点,共同学习,共同进步。    能在CU上混的人绝非等闲之辈。因此,小弟这里说明一下:本系列博文主要侧重于分析Netfilter的实现机制,原理和设计思想层面的东西,同时从用户态的iptables到内核

2015-05-17 22:01:43 343

转载 linux平台下防火墙iptables原理(转)

iptables简介    netfilter/iptables(简称为iptables)组成Linux平台下的包过滤防火墙,与大多数的Linux软件一样,这个包过滤防火墙是免费的,它可以代替昂贵的商业防火墙解决方案,完成封包过滤、封包重定向和网络地址转换(NAT)等功能。iptables基础    规则(rules)其实就是网络管理员预定义的条件,规则一般的定义为“如

2015-05-17 21:51:18 366

转载 SC命令使用(创建window服务等)

//1 sc语法作为一个命令行工具,SC.exe可以用来测试你自己的系统,你可以设置一个批处理文件来使用不同的参数调用 SC.exe来控制服务。这个很有用,如果你想看看你的服务不断的启动和停止,我没有试过哦!让一个服务一下子 打开,一下子关闭,听上去很不错的。如果你的服务进程里面有多个进程的话,你可以保持一个进程继续运行不 让它走开,然后让另一个不断的打开在关闭,还可以寻找一下内存缺乏导致

2015-05-05 10:21:55 1759

原创 Java mongodb System.js 应用

近期遇到了一个比较麻烦的查询,就想用mongodb system.js实现,有点类似关系型数据库的存储过程的味道。下面是mongodb脚本和java 调用部分代码:

2015-04-21 12:01:45 1494

原创 hadoop-wordcount demo

package com.billstudy.hdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.had

2015-04-19 15:51:45 422

原创 Spring Aop 日志拦截应用

近期,一个小伙伴遇到了此需求。要解决的问题就是:记录用户在系统的操作,通过注解来灵活控制。  注解可以对方法进行修饰,描述。  后面会将注解上描述以及方法被调用时入参记录到数据库。 同时还需要对不同的操作进行分类(插入,修改,查看,下载/上传文件之类的),记录用户,时间以及IP,客户端User-agent . 我在这里将部分实现写了出来,实际在项目中可以直接参照进行修改就可以满足以上功能。

2015-04-19 14:48:34 1008

原创 eclipse develop hadoop chmod :Cannot run program "chmod": CreateProcess error=2, ?????????

在window eclipse上测试hadoop 程序时,出现不能执行chmod问题。 需要安装cygwin程序:点击下载x64 cygwin具体安装步骤,网上很多文章有介绍了。 错误如下:15/04/19 14:41:29 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, se

2015-04-19 14:40:29 2139

高效能学习的十大学习方法.doc

高效能学习的十大学习方法,可以看看哟。 让自己的时间更有价值。

2015-06-30

Scala详细总结(精辟版++).docx

scala是一门以java虚拟机(JVM)为目标运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 scala是纯粹的面向对象的语言。java虽然是面向对象的语言,但是它不是纯粹的,因为java的基本数据类型不是类,并且在java中还有静态成员变量和静态方法。相反,scala是纯粹面向对象的,每个值都是对象,每个操作都是方法调用。 scala也是一个成熟的函数式语言。函数式编程有两个指导思想:①函数是头等值,也就是说函数也是值,并且和其他类型(如整数、字符串等)处于同一地位,函数可以被当作参数传递,也可以被当作返回值返回,还可以在函数中定义函数等等;②程序的操作应该把输入值映射为输出值而不是就地修改,也就是说函数调用不应产生副作用,虽然函数式编程语言鼓励使用“无副作用”的方法,但是scala并不强制你必须这么做。scala允许你使用指令式的编程风格,但是随着你对scala的深入了解,你可能会更倾向于一种更为函数式的编程风格。向函数式编程转变,你就应该尽量去使用val、不可变对象、无副作用方法,而不是var、可变对象、有副作用方法。要明白的是,从指令式编程向函数式编程的转变会很困难,因此你要做好充分的准备,并不断的努力。 scala运行于JVM之上,并且它可以访问任何的java类库并且与java框架进行互操作,scala也大量重用了java类型和类库。

2015-06-30

Editplus-v3.41bulid1115.exe

Editplus-v3.41bulid1115.exe 一个小巧的编辑器. 用户名:Free User 注册码:6AC8D-784D8-DDZ95-B8W3A-45TFA

2015-01-13

一款很不错的编程字体.rar

一款很不错的编程字体.rar 自己在用,不错

2015-01-13

算法文档,来看看吧

[原网页] [置顶] 程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦 [原网页] 程序员编程艺术第三十~三十一章:字符串转换成整数,通配符字符串匹配 [原网页] 程序员编程艺术第二十八~二十九章:最大连续乘积子串、字符串编辑距离 [原网页] 数据挖掘中所需的概率论与数理统计知识、上 [原网页] 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法 [原网页] 九月十月百度人搜,阿里巴巴,腾讯华为笔试面试八十题(第331-410题) [原网页] 支持向量机通俗导论(理解SVM的三层境界) [原网页] 从决策树学习谈到贝叶斯分类算法、EM、HMM [原网页] 从LSM-Tree、COLA-Tree谈到StackOverflow、OSQA [原网页] 程序员编程艺术第一~二十七章集锦与总结(教你如何编程),及PDF免分下载 [原网页] 教你如何迅速秒杀掉:99%的海量数据处理面试题 [原网页] 程序员编程艺术第二十七章:不改变正负数相对顺序重新排列数组(无解?) [原网页] 三五杆枪,可干革命,三五个人,可以创业 [原网页] Machine Learning读书会集锦(2013年4月14日第5期PPT教程已公布) [原网页] 结构之法算法之道blog博文集锦第6、第7期CHM文件0积分下载「07.30」 [原网页] 推荐引擎算法学习导论 [原网页] 程序员编程艺术第二十六章:基于给定的文档生成倒排索引(含源码下载) [原网页] 程序员编程艺术第二十五章:Jon Bentley:90%无法正确实现二分查找 [原网页] 编程艺术第二十三~四章十一续:杨氏矩阵查找,倒排索引关键词Hash编码 [原网页] 六之再续:KMP算法之总结篇(12.09修订,必懂KMP) [原网页] Nginx源码剖析之内存池,与内存管理 [原网页] 程序员编程艺术第一~二十二章集锦与总结(教你如何编程) [原网页] 从Trie树(字典树)谈到后缀树(10.28修订)

2015-01-13

J2SE6.0_CN_详细全.chm

J2SE6.0_CN_详细全.chm 全中文的哦,来看看

2015-01-13

鸟哥的Linux私房菜.chm

鸟哥的Linux私房菜.chm 工作学习好帮手

2015-01-13

Spring2.5_注解介绍(3.0通用).docx

Spring2.5_注解介绍(3.0通用).docx

2015-01-13

Maven实战_Maven的安装、配置及使用入门.doc

Maven实战_Maven的安装、配置及使用入门.doc

2015-01-07

如何实现java 流式文件上传

发表于 2014-03-07 最后回复 2019-08-16

[C3P0]数据源死锁,求助,APPARENT DEADLOCK!!!

发表于 2014-09-04 最后回复 2014-09-29

求SQL语句(修改时间)

发表于 2014-04-30 最后回复 2014-04-30

浏览器之间兼容性问题IE8,救急!

发表于 2014-02-19 最后回复 2014-02-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除