- 博客(13)
- 收藏
- 关注
RSS订阅如何解决java工程中多个版本的包冲突问题
[b]背景[/b]最近工作上需要实现从mysql到hbase的实时数据同步的功能。经过多方了解，整理出解决方案：使用canal作为实时的数据源，然后开发一个client来完成与canal的对接，并将数据写入hbase数据库中。[b]问题[/b]在开发接近尾声时，发现连接canal时需要使用protobuf-java-2.4.1.jar包，而连接hbase时则需要使用protobuf...
2014-11-19 23:44:22
1152
原创 linux计划任务之crontab
语法： crontab [ -u user ] file crontab [ -u user ] [ -i ] { -e | -l | -r }说明： crontab命令是为个人用户用于设置周期性被执行的指令。每一个用户都可以有自己的crontab。 如果/etc/cron.allow文件存在，该文件中所列用户允许使用cron...
2014-08-19 11:39:44
109
原创 Linux下使用ssh非交互式远程执行命令脚本
机器1:192.168.201.241机器2:192.168.201.222在241上执行：ssh 192.168.201.222 test.sh，运行结果：[size=medium][color=red]JAVA_HOME environment variable is not set[/color][/size]test.sh如下：[code="shell"]#...
2014-08-08 19:06:26
364
原创 Mysql数据库备份
MySQL数据库备份命令备份MySQL数据库的命令mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql备份MySQL数据库为带删除表的格式备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。mysqldump -–add-drop-t...
2014-07-09 11:14:12
74
原创 利用udf函数将hive统计结果直接插入到mysql
大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。步骤为hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;...
2014-06-12 15:21:32
173
原创 linux nohup命令详解
linux nohup命令详解 nohup命令及其输出文件 nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思( n ohang up)。 一般都是在linux下nohup格式：nohup command 或者 noh...
2014-06-12 09:50:59
101
原创 异常解决：bin/sh^M: bad interpreter: No such file or directory
原因是.sh脚本在windows系统下用记事本文件编写的。不同系统的编码格式引起的。转行文件的编码格式：1、确保用户对文件有读写及执行权限chmod a+x test.sh2、然后修改文件格式（1）使用vi工具vi test.sh（2）利用如下命令查看文件格式 :set ff 或 :set fileformat可以看到如下信息，fileformat=dos ...
2014-06-09 20:42:15
115
原创 Sybase数据库类型转Java类型
Java程序通过ResultSetMetaData类的getColumnTypeName()和getColumnType()方法分别取出类型名和类型。 类型转化详见附件！ Sybase数据类型：http://quqtalk.iteye.com/blog/347852 ...
2013-04-27 11:25:12
300
原创 oracle/db2/sqlserver/sybase/mysql 数据库取前几条数据写法
数据库取前几条记录的语句 1. ORACLESELECT * FROM TABLE1 WHERE ROWNUM<=N 2. INFORMIX SELECT FIRST N * FROM TABLE1 where 1=1 3. DB2 SELECT * ROW_NUMBER() OVER(ORDER BY COL1 DESC) AS ROWNUM WHE...
2013-04-26 14:30:55
116
原创 Shuffle过程剖析及MapReduce性能优化
Shuffle过程剖析及性能优化MapReduce确保每个reducer的输入都按键排序。Shuffle：系统执行排序的过程—将map输出作为输入传给reducer（如图1、图2）。图1图2如图1、图2所示，从map输出到reduce输入就是shuffle阶段。但实际执行过程远比上图所示复杂。Shuffle 是指从Map 产生输出开始，包括系统执行排序...
2012-08-17 14:50:06
152
关于DB2 jdbc连接数据库，ResultSet自动关闭猜想
问题：java使用db2jcc.jar和db2jcc_license_cu.jar驱动连接DB2数据库，在程序中抛如下异常：com.ibm.db2.jcc.c.SqlException: [ibm][db2][jcc][10120][10898] 操作无效：已关闭 result set。 at com.ibm.db2.jcc.c.wf.mb(wf.java:3193) at com.i...
2012-05-14 20:37:55
550
原创 windows下通过Runtime.getRuntime().exec.()执行linuxshell脚本
执行Runtime.getRuntime().exec("ps -ef|grep indexer");一直抛ERROR: Unsupported SysV option. 于是便去就按照这个error信息去百度、google找答案，未果。。。 看到网上相关问题解决方法（如下），我尝试Runtime.getRuntime().exec("eval ps -ef|grep ind...
2012-05-07 21:07:11
3367
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人