2014年06月_左手程序右手拳

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 CppCMS URL使用

Artyom认为URL分为三个组成部分：Script_Name / Path_Info ? Query_String比如下面的：/foo/bar.php/test?x=10Script_Name: /foo/bar.phpPath_Info: testQuery_String: x=10这三个都是CGI变量。CppCMS中提供了方法定义Script_Name, 比如：mapper().root("

2014-06-28 21:03:23 3341 1

原创查看hive版本

hive没有提供hive --version这种方式查看版本好，所以要找到hive所在目录，然后查看jar包的版本号，比如：# ls /usr/local/hive/lib/antlr-2.7.7.jar datanucleus-core-2.0.3.jar hive-jdbc-0.10.0.jar jline-1.0.ja

2014-06-22 20:52:37 35117 2

原创 CentOS5.9 编译Emacs 24

从Emacs官方站点下载最新版解压后，运行./configure得到错误信息：configure: error: The following required libraries were not found: libXpm libjpeg libgif/libungif libtiff用下面的命令安装依赖库：yum -y install libjpeg-devel.x86_64 gi

2014-06-14 23:16:23 3769

原创 sqoop导入时删除string类型字段的特殊字符

如果你指定了\n为sqoop导入的换行符，mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除，不会捣乱了。

2014-06-08 19:11:19 6245

原创 Jenkins 输入字符串给newLISP 作为参数使用问题

比如需要生成sqoop import语句，用newlisp脚本：(set 'import-cmd (format "%s/sqoop-import --options-file media_options.txt --table %s --where \"ID = 2\" --target-dir %s -m 1 --fields-terminated\-by '%s' --lines-term

2014-06-08 16:39:25 3570

原创 sqoop 使用指定条件导入数据

在测试sqoop语句的时候，一定要限制记录数量，否则就像我刚才，等了1个多小时，才看到测试结果。sqoop-import --options-file media_options.txt --table my_table --where "ID = 2" --target-dir /user/jenkins/bigdata/import/20140607 -m 1 --fields-ter

2014-06-07 17:37:47 8297

原创 sqoop 导入数据到HDFS注意事项

今天碰到不少问题，记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号，便于解析文件，所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起

2014-06-07 17:34:53 9406 1

原创创建list方法总结

构建一个list注意要标记不要求值，比如用‘ 或者list> (list "a" "b" "c")("a" "b" "c")或者> '("a" "b" "c")("a" "b" "c")查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素：> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter

2014-06-06 14:03:19 4698

原创 Linux查看目录挂载点

用命令 df 即可# df /var/lib/Filesystem 1K-blocks Used Available Use% Mounted on/dev/sda3 135979984 66905292 62055896 52% /不仅看到挂在点，也看到分区大小。加上-kh更容易看些：# df /var/lib/ -khFiles

2014-06-04 08:58:11 27298

原创 Jenkins build失败的条件

在Jenkins 项目中编写了大量的脚本，发现有些时候脚本执行失败，但是Jenkins以为执行成功。Jenkins通过退出代码是否为0判断build是否成功。因此在newLISP中，可以用(exit)表示成功，(exit 1)表示失败。这样就需要增加一些脚本的判断，比如：(unless (HDFS:test-file export-folder) (begin (println (for

2014-06-02 21:36:24 10035 1

原创获取Jenkins项目名称

在Jenkins创建的每个项目的名称都可以通过环境变量$JOB_NAME获得有什么用呢？比如在shell中编写脚本，可以用到：cd /var/lib/jenkins/jobs/$JOB_NAME/workspace/code./pid_daily.lsp /var/lib/jenkins/jobs/$JOB_NAME/workspace/code /user/jenkins/bigdata/da

2014-06-02 21:10:47 12153

原创 date将秒数转换成日期的字符串表达形式

这里要用到date函数的第三种形式，下面是获得当前日期(set 'today (date (date-value) 0 "%Y%m%d"))(date-value) 返回的是1970年0点累计的秒数，作为date函数的地一个参数第二个参数是偏移的分钟，0表示没有偏移，就是现在。这个参数主要用来做时区转换第三个参数定义日期格式，参考下表：formatdescription%aabbreviate

2014-06-02 09:43:39 6543