liyonghui123-CSDN博客

原创 memcache stats命令返回值

telnet 10.0.0.162 11211stats服务器STATS信息参数值描述pid7862memcache服务器进程IDuptime12617972服务器已运行秒数time1320756409服务器当前Unix时间戳version1.4.5memcache版本pointer_size64...

2015-09-28 15:49:28 219

原创 memcached笔记（3）：xmemcached的FAQ

一、XMemcached是什么？经常碰到的一个问题是很多朋友对memcached不了解，误以为xmemcached本身是一个缓存系统。Memcached是一个开源的，C写的分布式key-value缓存，XMemcached只是它的一个访问客户端。Memcached通过网络协议跟客户端交互，通过客户端你才可以去使用 memcached,xmemcached是它的java客户端之一。...

2015-09-28 15:47:34 184

原创 memcached笔记（2）：使用xmemcached客户端

package xmemcache;import java.io.IOException;import java.util.concurrent.TimeoutException;import net.rubyeye.xmemcached.Counter;import net.rubyeye.xmemcached.GetsResponse;import net....

2015-09-28 15:46:18 400

原创 linux上安装memcached

1. 准备安装文件下载memcached与libevent的安装文件 http://memcached.googlecode.com/files/memcached-1.4.15.tar.gz（memcached下载地址） https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.t...

2015-09-28 15:41:10 95

原创 memcache安装

最近在公司服务器上安装memcached安了很多次，每次都得上网来查一下步骤，今天干脆写个详细点的步骤记录一下，留作备忘。一、检查libevent首先检查系统中是否安装了libevent rpm -qa|grep libevent 如果安装了则查看libevent的安装路径，后续安装时需要用到 rpm -ql libevent 如果没有安装，则先安装libevent 安装l...

2015-09-22 10:31:07 103

原创远程执行shell命令

import com.jcraft.jsch.*;import com.xx.dc.beans.Progress;import com.xx.dc.beans.ProgressMessage;import com.xx.dc.service.SessionManager;import org.apache.commons.logging.Log;impor...

2015-08-28 16:10:59 2866

原创 Hive权限控制用户和组

Hive权限控制Hive权限机制：Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。先决条件：为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：<property> <name>hive.security.authorizat...

2015-08-28 16:02:36 1944

原创 java程序获取hive日志

获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hive sql，并且把输出到控制台的日志保存到redis，其中kill job的命令日志用不同的key缓存到redis，如此可很方便获取查询结果、日志、kill命令。具体实现方式如下：修改hive-exec...

2015-08-27 18:07:45 1129

原创 java执行远程 linux shell命令，并拿到返回值

package com.pasier.xxx.util;import java.io.IOException;import java.io.InputStream;import java.nio.charset.Charset;import org.slf4j.Logger;import org.slf4j.LoggerFactory;im...

2015-07-23 11:51:57 1649 2

原创 log4j日志等级

日志记录器(Logger)是日志处理的核心组件。log4j具有5种正常级别(Level)。日志记录器(Logger)的可用级别Level (不包括自定义级别 Level)，以下内容就是摘自log4j API (http://jakarta.apache.org/log4j/docs/api/index.html):static Level DEBUGDEBUG Leve...

2015-07-22 13:49:59 123

原创 zkClient 监控机制实现

直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举等，还要自己额外做很多事情。这里介绍下ZK的两个...

2015-07-15 15:55:56 370

原创 java.lang.reflect.Proxy

1.简介 Proxy 提供用于创建动态代理类和实例的静态方法（1）动态代理类的属性代理类是公共的、最终的，而不是抽象的未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留代理类扩展 java.lang.reflect.Proxy代理类会按同一顺序准确地实现其创建时指定的接口如果代理类实现了非公共接口，那么它将在与该接...

2015-07-13 16:58:42 216

原创 ZooKeeper原理及使用（转）

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooK...

2015-07-13 09:48:06 136

原创 MongoDB windows安装基本命令

windows安装安装目录： D:\MongoDB\ 新建目录 D:\MongoDB\data\db 4.启动进城： cd D:\MongoDB\bin mongod -dbpath D:\MongoDB\data\db 客户端执行命令mongo 127.0.0.1 查看连接数情况mongostat...

2015-07-10 14:39:27 149

原创 HSQLDB In-Process方式访问内存数据库

HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。先睹为快！下面是一个In-Process方式访问内存数据库的代码示例：下面代码需要引入hsqldb.jar包（hsqldb-2.2.8） import java.sql.Connection;import java.sql.Dr...

2015-07-08 17:55:17 386

原创 idea ubuntuxia 乱码

1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个字体文件。2.在ubuntu 下可以执行下面操作安装该字体：sudo mkdir /usr/share/fonts/truetype/simsunsudo cp simsun.ttf /usr/share/fonts/truetype/simsunfc-cache -f -v3....

2015-07-06 17:01:41 123

原创清空memcached中缓存的数据的方法

第一、连接：telnet 127.0.0.1 11211 第二、按回车键第三、flush_all 后回车控制台显示OK，表示操作成功说明： 1、清空所有键值 flush_all 注：flush并不会将items删除，只是将所有的items标记为expired，因此这时memcache依旧占用所有内存。 2、退出 quit ...

2015-07-01 15:23:15 854

原创 Hadoop集群工具distcp

1. 环境描述两个集群：rock 和 stonerock无kerberos权限认证，stone有要求认证。1. 从rock复制到stone，采用hdfsHadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本不对的问题（的确该...

2015-06-29 14:47:16 232

原创 C# Ajax上传图片同时生成微缩图(附Demo)

1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx） 2.C#位图处理 System.Drawing。 3.最新demo支持IE7,IE8,FireFox。生成微缩图的核心方法： CreateThumbnailPicture /// <summary> ...

2015-06-05 16:24:27 179

原创 mybatis Sqlserver 存储过程结果集

Sqlserver返回结果集的存储过程调用方式：一、存储过程： create procedure selectCount @num int =0 as begin SELECT COUNT(0) FROM mytable end create procedure selectId@num int =0asbeginSEL...

2015-06-03 14:34:10 1003

原创 spring注入Set，List，Properties和Map

好久没有写代码了连spring注入都忘记了，真是老了不行了，记录下吧 java代码 package hua;import java.util.ArrayList;import java.util.Enumeration;import java.util.HashMap;import java.util.HashSet;import java....

2015-05-28 10:18:19 113

原创 squid3(高命中率)缓存服务器配置

系统:centos 5.x 需要的软件:squid-3.0.STABLE25.tar.gz1.下载squidwget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gztar zxf squid-3.0.STABLE25.tar.gz && cd squid-3....

2015-05-19 14:30:13 314

原创 shell嵌套expect执行命令

一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧. 系统:centos 5.x 1.先安装expectyum -y install expect 2.脚本内容:cat auto_svn.sh #!/bin/bash passwd='123456' /usr/bin/e...

2015-05-19 14:00:01 981

原创 shell删除指定时间之前的文件

#!/bin/shlocation="/root/sqlbak/"find $location -mtime +30 -type f |xargs rm -rf ps:location 是设置查找的目录--mtime +30 是设置时间为30天前-type f 这周查找的类型为文件然后加入crontab定时来删除crontab -l...

2015-05-19 11:06:41 359

原创 Flumeng和Mysql进行整合 Flumeng批量处理

package com.iteblog.flume; import com.google.common.base.Preconditions; import com.google.common.base.Throwables; import com.google.common.collect.Lists; import org.apache.flume.*...

2015-05-13 16:23:08 260

原创 linux 判断文件夹是否存在

#!/bin/bashtoPath=$1project=$2if [ -d $toPath/$project/ ];then cd $toPath/$project/ rm -rf *else :fiecho "remove success"

2015-05-11 15:43:59 529

原创 rsync version 3.0.6 配置安装

rsync服务配置（centos6.3系统环境下配置文件同步）一、rsync 简介 Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件，也可以使用 Rsync 同步本地硬盘中的不同目录。 Rsync的基本特点如下：可以镜像保存整个目录树和文件系统；可以很容易做...

2015-05-08 14:56:37 673

原创 Table ' is marked as crashed and should be repaired

网上的修复方法有的不正确一下本人亲自使用正确解决问题 mysqlcheck --auto-repiar databasename -uroot -p

2015-04-23 19:09:04 105

原创给shell脚本传参数

如何给shell脚本传参数脚本test.sh的内容如下：#!/bin/shname=$1echo "the $name are great man!" 给新创建的test.sh的脚本赋可执行权限，命令为“chmod 755 test.sh”。执行'./test.sh "xiao wang"'命令，可以看到自己编写脚本的结果“the xiao wang are gr...

2015-04-19 20:30:22 279

原创 linux拷贝文件去掉某个子目录脚本

linux拷贝文件去掉某个子目录脚本 #!/bin/bashto=/export/tmp/gerritcode/for filename in `ls $to`;do if [ $filename = ".git" ]||[ $filename = "myfile" ];then : else cp -r ...

2015-04-17 16:33:38 264

原创 jenkins + gerrt代码Review

第一次写这么长的文章，有不对的地方欢迎提出。 1. 环境准备（1）服务器 192.168.195.64 jenkins + nginx 192.168.195.69 gerrit + nginx（2）前提安装 java，maven，git，细节略过（3）下载软件由于测试机网络不给力，代理太慢。jenkins 使用rpm包来安装。h...

2015-04-15 21:31:54 1816

原创 jenkins自动部署war到tomcat OutOfMemoryError

jenkins自动部署war到tomcat 7应用服务器时很不稳定,经常出现错误: ERROR: Publisher hudson.plugins.deploy.DeployPublisher aborted due to exceptionorg.codehaus.cargo.container.ContainerException: Failed to deploy [/v...

2015-04-14 19:04:04 299

原创 git log

git log 进阶　　在一行显示 git log　　git log --pretty =oneline在一行显示 git log.　　git log --oneline --stat ，显示每个文件的变化行数，其中后面跟的--start参数是用来统计哪些文件被改动，有多少行被改动。　　git log --oneline --graph，则可以图形化地显示 branch 的...

2015-04-14 16:14:31 169

原创 linux date -d

linux date得到上一小时的时间： date -d "-1 hour" "+%Y-%m-%d-%H"昨天的时间date -d '-1 day' '+%Y-%m-%d %T'明天的时间date -d 1day '+%Y-%m-%d %T'一周前date -d '-1 week' '+%Y-%m-%d %T'一个月前date -d '...

2015-04-10 14:48:56 707

原创配置多个tomcat时候server.xml的修改

第一处端口修改： <Server port="18005" shutdown="SHUTDOWN"> 第二处端口修改： &l

2015-04-09 13:53:04 582

原创 java调用linux中的shell脚本传递参数并返回执行结果

package cn.com.songjy.test.shell; import java.io.BufferedReader;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStreamReader;import java.io.OutputStr...

2015-04-09 11:32:42 2885

原创 Java时间格式转换大全

Java时间格式转换大全import java.text.*;import java.util.Calendar;public class VeDate {/** * 获取现在时间 * * @return 返回时间类型 yyyy-MM-dd HH:mm:ss */public static Date getNowDate() {...

2015-04-09 11:28:51 85

原创屏蔽storm ui的kill功能的两种方法

今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。　　有两种方法：　　1.前端增加nginx，做location 　　分析ui页面，对应kill的but...

2015-04-01 14:32:50 532

原创搭建Git服务器

GitHub就是一个免费托管开源代码的远程仓库。但是对于某些视源代码如生命的商业公司来说，既不想公开源代码，又舍不得给GitHub交保护费，那就只能自己搭建一台Git服务器作为私有仓库使用。搭建Git服务器需要准备一台运行Linux的机器，强烈推荐用Ubuntu或Debian，这样，通过几条简单的apt命令就可以完成安装。假设你已经有sudo权限的用户账号，下面，正式开始安装。...

2015-04-01 13:56:21 106