2015年12月_andy2cloud

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 java 中MD5验证文件一致性

commons-codec包可以从apache下载： http://commons.apache.org/codec/download_codec.cgiMD5现在是用来作为一种数字签名算法，即A向B发送数据m，为了让B确信数据是A送来的并且没有被篡改于是A就是用hash算法将数据散列一并发送给 B。B接收到文件以后也用相同的hash算法校验数据是否被修改。主要是防止数据被修改的。MD5值

2015-12-29 10:06:11 1528

转载 mysql bin-log和log-update开启

注意：1、开启bin-log，路径要设置在mysql用户所属文件夹下例如：log-bin=/home/123/bin-log 123的所属用户就要是Mysql[root@520 home]# ll总计 163736drwxr-xr-x 2 mysql mysql 4096 01-16 16:47 123140116 15:59:21 mys

2015-12-23 16:44:41 3202

转载 mysql数据文件

在MySQL 中每一个数据库都会在定义好（或者默认）的数据目录下存在一个以数据库名字命名的文件夹，用来存放该数据库中各种表数据文件。不同的MySQL 存储引擎有各自不同的数据文件，存放位置也有区别。多数存储引擎的数据文件都存放在和MyISAM 数据文件位置相同的目录下，但是每个数据文件的扩展名却各不一样。如MyISAM 用“.MYD”作为扩展名，Innodb 用“.ibd”，Arc

2015-12-23 16:42:55 562

转载 Java中String、StringBuilder和StringBuffer的简单区别

String、StringBuilder和StringBuffer的简单区别如下：String：不可变的对象，对String对象进行改变的时候等同于生成了一个新的String对象，然后将引用指向新的String对象，原String对象GC回收。StringBuffer：字符串变量（线程安全），适用于多线程程序中，保证同步性。StringBuilder：字符串变量（非线程安全），适用于单

2015-12-18 10:48:00 378

转载为什么HikariCP被号称为性能最好的Java数据库连接池，如何配置使用

HiKariCP是数据库连接池的一个后起之秀，号称性能最好，可以完美地PK掉其他连接池。原文地址：http://blog.csdn.net/clementad/article/details/46928621官网：https://github.com/brettwooldridge/HikariCP为何要使用HiKariCP？这要先从BoneCP说起

2015-12-18 10:25:44 2909 1

原创 kettle参数、变量详细讲解

kettle参数、变量详细讲解kettle 3.2 以前的版本里只有 variable 和 argument，kettle 3.2 中，又引入了 parameter 概念；variable 即environment variables（环境变量或全局变量），即使是不同的转换它们也拥有同样的值；而argument（位置参数）和parameter（命名参数），可以映射为局部变量，只针对一个特定

2015-12-17 16:52:33 23835 3

转载 Kettle变量和自定义java代码的实例应用

1 kettle.properties参数配置数据源连接和FTP连接由于测试环境和生产环境中数据库连接FTP等配置会在部署过程中变更，所以预先定义成配置项，在配置文件中修改，这样测试和发布将会变得简单，下面以数据库为例说明这类配置的使用。（1）首先要找到配置文件，不同的操作系统路径也不一样，本人用win7进行开发，配置文件的路径为“C:\Users\chen

2015-12-17 13:30:06 3854

转载 Kettle产品介绍

Kettle 编辑Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。外文名Kettle中文名水壶产品Spoon、Pan、CHEF、Kitc

2015-12-17 11:48:01 1320

原创 kettle中执行sql语句

一、直接执行sql，不添加任何参数1.先找出执行sql语句的控件2.打开控件，填写要执行的sql语句，主要下图中的红框中选项，后面会介绍各个选项的作用二、执行sql，使用kettle中的变量（如${report_time}）变量替换选项该方式用到了变量替换选项，替换sql语句中的${}变量三、执行sql，执行每一行选项该选项可以接收上一步骤中

2015-12-16 19:02:15 32359 3

原创 mysql多表关联更新和in效率问题

#重新下发投放配置，只下放投放状态的单子1.单表where查询更新UPDATE bus_execute_sync b SET b.flag = 0 WHERE b.execid IN(SELECT id FROM bus_execute a WHERE a.status IN('10','20','21','22','23','24','25'));2.表关联更新UPDATE bu

2015-12-11 18:51:41 6133

原创统计某个端口的访问量

统计某个端口的访问量netstat -nao |grep :8080 |wc -l

2015-12-11 17:10:12 2021

转载让进程在后台可靠运行的几种方法

我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务，结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受本地关闭终端窗口/网络断开连接的干扰呢？下面举了一些例子，您可以针对不同的场景选择不同的方式来处理这个问题。nohup/setsid/&场景：如果只是临时有一个命令需要长时间运行，什么方法能最简便的保证它在后台稳

2015-12-11 17:09:32 361

转载 linux命令-zip

linux zip命令的基本用法是： zip [参数] [打包后的文件名] [打包的目录路径] linux zip命令参数列表： -a 将文件转成ASCII模式 -F 尝试修复损坏的压缩文件 -h 显示帮助界面 -m 将文件压缩之后，删除源文件 -n 特定字符串

2015-12-11 17:07:22 330

原创 too many open files

vi /etc/security/limits.conf添加如下内容(也可针对单个用户进行设置)* soft nproc 102400* hard nproc 102400* soft nofile 102400*

2015-12-11 17:06:33 400

转载 linux命令-tar

linux下使用tar命令解压语法：tar [主选项+辅选项] 文件或者目录使用该命令时，主选项是必须要有的，它告诉tar要做什么事情，辅选项是辅助使用的，可以选用。主选项：c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。x 从档案文件中释放文件。相当于拆包。t 列出档案文件的内容，查看已经

2015-12-11 17:05:35 1040

原创 ssh传输本地文件

问题的提出：一般来说，linux服务器大多是通过ssh客户端来进行远程的登陆和管理的，使用ssh登陆linux主机以后，如何能够快速的和本地机器进行文件的交互呢，也就是上传和下载文件到服务器和本地；与ssh有关的两个命令可以提供很方便的操作： sz：将选定的文件发送（send）到本地机器 rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到

2015-12-11 17:04:47 1899

转载 Linux下查看文件常用命令-cat,more,less,head,tail

Linux下查看文件常用命令—cat,more,less,head,tail (2011-03-16 09:36:42)转载▼标签：杂谈分类：技术沉淀【cat】功能：1）显示整个文件。如：$ cat filename 2）把文件串联接后传到基本输出，如将几个文件合并为一个文件或输出到屏幕。如：$ cat file1 file2 > file 参数详解：

2015-12-11 17:03:30 614

原创 Communications link failure

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure解决 2014-05-15 10:10:18| 分类：数据库 | 标签：mysql communications link failure |举报|字号订阅错误日志：com.mysql.jdb

2015-12-11 16:55:02 765

原创大数据下mysql配置

1.单表数据量大时（200w+、有索引）如果进行update或者delete时就会报如下错误，ERROR 1206 (HY000): The total number of locks exceeds the lock table size此时需要修改/etc/my.cnf配置文件，在mysqld中添加innodb_buffer_pool_size=1024M（具体值要看机器内存60%左右

2015-12-11 16:53:14 836

原创 mysql设置最大连接数

MYSQL数据库安装完成后，默认最大连接数是100，一般流量稍微大一点的论坛或网站这个连接数是远远不够的，增加默认MYSQL连接数的方法有两个方法一：进入MYSQL安装目录打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可service mysqld r

2015-12-11 16:51:56 2805

原创 mysql设置编码

1.编辑mysql配置文件vi /etc/my.cnf添加如下配置[client]default-character-set=utf8[mysqld]default-character-set=utf8default-collation=utf8_general_ci重启服务service mysqld restart;在mysql中执行，进

2015-12-11 16:50:41 283

原创用户线程和守护线程

守护线程守护线程在没有用户线程可服务时自动离开，在Java中比较特殊的线程是被称为守护（Daemon）线程的低级别线程。这个线程具有最低的优先级，用于为系统中的其它对象和线程提供服务。将一个用户线程设置为守护线程的方式是在线程对象创建之前调用线程对象的setDaemon方法。典型的守护线程例子是JVM中的系统资源自动回收线程，我们所熟悉的Java垃圾回收线程就是一个典型的守护线程，当我们的程序

2015-12-11 16:18:33 2204

原创 Ehcache 整合Spring 使用页面、对象缓存

Ehcache 整合Spring 使用页面、对象缓存Ehcache在很多项目中都出现过，用法也比较简单。一般的加些配置就可以了，而且Ehcache可以对页面、对象、数据进行缓存，同时支持集群/分布式缓存。如果整合Spring、Hibernate也非常的简单，Spring对Ehcache的支持也非常好。EHCache支持内存和磁盘的缓存，支持LRU、LFU和FIFO多种淘汰算法，支持分布

2015-12-11 16:16:38 591

原创深入理解java异常处理机制

深入理解java异常处理机制1. 引子 try…catch…finally恐怕是大家再熟悉不过的语句了，而且感觉用起来也是很简单，逻辑上似乎也是很容易理解。不过，我亲自体验的“教训”告诉我，这个东西可不是想象中的那么简单、听话。不信？那你看看下面的代码，“猜猜”它执行后的结果会是什么？不要往后看答案、也不许执行代码看真正答案哦。如果你的答案是正确，那么这篇文章你就不用浪费时间

2015-12-11 16:10:45 266

原创平时常用sql语句集锦

一、sql去重（有自定id的情况）思路：1.先按照需要去重的组合字段进行分组查询，按照userid和change_count_field_name字段组合去重select count(*) from stat_custom_change_data_today a where a.t_day = '2015-11-12' and a.mtype = 2 group by a.us

2015-12-11 14:52:17 351

转载 StringBuilder与StringBuffer的区别

相信大家看到过很多比较String和StringBuffer区别的文章，也明白这两者的区别，然而自从Java 5.0发布以后，我们的比较列表上将多出一个对象了，这就是StringBuilder类。String类是不可变类，任何对String的改变都会引发新的String对象的生成；而StringBuffer则是可变类，任何对它所指代的字符串的改变都不会产生新的对象，可变和不可变类这一对对象已经齐全

2015-12-10 17:08:11 203

转载 JAVA的Random类(转)

Random类 (java.util) Random类中实现的随机算法是伪随机，也就是有规则的随机。在进行随机时，随机算法的起源数字称为种子数(seed)，在种子数的基础上进行一定的变换，从而产生需要的随机数字。相同种子数的Random对象，相同次数生成的随机数字是完全相同的。也就是说，两个种子数相同的Random对象，第一次生成的随机数字完全相同，第二次生成的随机

2015-12-10 15:32:27 241

转载 Java transient关键字使用小记

哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient关键字的使用，涨下姿势~~~好了，废话不多说，下面开始：1. transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以

2015-12-10 14:05:43 251

原创 ArrayList和LinkedList区别

一般大家都知道ArrayList和LinkedList的大致区别：1.ArrayList是实现了基于动态数组的数据结构，LinkedList基于链表的数据结构。2.对于随机访问get和set，ArrayList觉得优于LinkedList，因为LinkedList要移动指针。3.对于新增和删除操作add和remove，LinedList比较占优势，因为ArrayList要移动数据。

2015-12-09 19:09:34 406

转载运用原生Java Api发送简单的Get请求、Post请求

阅读目录运用原生Java Api发送简单的Get请求、Post请求简单封装简单测试如何通过Java发送HTTP请求，通俗点讲，如何通过Java（模拟浏览器）发送HTTP请求。Java有原生的API可用于发送HTTP请求，即java.net.URL、java.net.URLConnection，这些API很好用、很常用，但不够简便；所以，也流行有许多Java

2015-12-09 15:24:13 1250

原创 Kettle中的连接介绍

一、记录关联(笛卡尔积输出)两个数据集A和B做笛卡尔积运算，输出结果为合并的结果使用场景：1.用于类似java中的for循环，每次for循环内部都需要一个for外部的变量进行运算时，此时的A结果集总数可以为1，B结果集>=1，A（笛卡尔积）B---->C可以参考同步实时数据的etl从redis中获取实时数据的案例二、记录集连接类似数据库中的几种常见连接方式，

2015-12-08 15:32:39 14646

转载 Java中如何遍历Map对象的4种方法

在Java中如何遍历Map对象How to Iterate Over a Map in Java在java中遍历Map有不少的方法。我们看一下最常用的方法及其优缺点。既然java中的所有map都实现了Map接口，以下方法适用于任何map实现（HashMap, TreeMap, LinkedHashMap, Hashtable, 等等）方法一在for-ea

2015-12-01 18:13:18 375