- 博客(13)
- 资源 (4)
- 收藏
- 关注
原创 CppCMS URL使用
Artyom认为URL分为三个组成部分:Script_Name / Path_Info ? Query_String比如下面的:/foo/bar.php/test?x=10Script_Name: /foo/bar.phpPath_Info: testQuery_String: x=10这三个都是CGI变量。CppCMS中提供了方法定义Script_Name, 比如:mapper().root("
2014-06-28 21:03:23 3379 1
原创 查看hive版本
hive没有提供hive --version这种方式查看版本好,所以要找到hive所在目录,然后查看jar包的版本号,比如:# ls /usr/local/hive/lib/antlr-2.7.7.jar datanucleus-core-2.0.3.jar hive-jdbc-0.10.0.jar jline-1.0.ja
2014-06-22 20:52:37 35220 2
原创 CentOS5.9 编译Emacs 24
从Emacs官方站点下载最新版解压后,运行./configure得到错误信息:configure: error: The following required libraries were not found: libXpm libjpeg libgif/libungif libtiff用下面的命令安装依赖库:yum -y install libjpeg-devel.x86_64 gi
2014-06-14 23:16:23 3797
原创 sqoop导入时删除string类型字段的特殊字符
如果你指定了\n为sqoop导入的换行符,mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除,不会捣乱了。
2014-06-08 19:11:19 6266
原创 Jenkins 输入字符串给newLISP 作为参数使用问题
比如需要生成sqoop import语句,用newlisp脚本:(set 'import-cmd (format "%s/sqoop-import --options-file media_options.txt --table %s --where \"ID = 2\" --target-dir %s -m 1 --fields-terminated\-by '%s' --lines-term
2014-06-08 16:39:25 3601
原创 sqoop 使用指定条件导入数据
在测试sqoop语句的时候,一定要限制记录数量,否则就像我刚才,等了1个多小时,才看到测试结果。sqoop-import --options-file media_options.txt --table my_table --where "ID = 2" --target-dir /user/jenkins/bigdata/import/20140607 -m 1 --fields-ter
2014-06-07 17:37:47 8323
原创 sqoop 导入数据到HDFS注意事项
今天碰到不少问题,记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据,写到HDFS的文件中的时候,字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号,便于解析文件,所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起
2014-06-07 17:34:53 9457 1
原创 创建list方法总结
构建一个list注意要标记不要求值,比如用‘ 或者list> (list "a" "b" "c")("a" "b" "c")或者> '("a" "b" "c")("a" "b" "c")查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素:> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter
2014-06-06 14:03:19 4748
原创 Linux查看目录挂载点
用命令 df 即可# df /var/lib/Filesystem 1K-blocks Used Available Use% Mounted on/dev/sda3 135979984 66905292 62055896 52% /不仅看到挂在点,也看到分区大小。加上-kh更容易看些:# df /var/lib/ -khFiles
2014-06-04 08:58:11 28192
原创 Jenkins build失败的条件
在Jenkins 项目中编写了大量的脚本,发现有些时候脚本执行失败,但是Jenkins以为执行成功。Jenkins通过退出代码是否为0判断build是否成功。因此在newLISP中,可以用(exit)表示成功,(exit 1)表示失败。这样就需要增加一些脚本的判断,比如:(unless (HDFS:test-file export-folder) (begin (println (for
2014-06-02 21:36:24 10111 1
原创 获取Jenkins项目名称
在Jenkins创建的每个项目的名称都可以通过环境变量$JOB_NAME获得有什么用呢?比如在shell中编写脚本,可以用到:cd /var/lib/jenkins/jobs/$JOB_NAME/workspace/code./pid_daily.lsp /var/lib/jenkins/jobs/$JOB_NAME/workspace/code /user/jenkins/bigdata/da
2014-06-02 21:10:47 12289
原创 date将秒数转换成日期的字符串表达形式
这里要用到date函数的第三种形式,下面是获得当前日期(set 'today (date (date-value) 0 "%Y%m%d"))(date-value) 返回的是1970年0点累计的秒数,作为date函数的地一个参数第二个参数是偏移的分钟,0表示没有偏移,就是现在。 这个参数主要用来做时区转换第三个参数定义日期格式,参考下表:formatdescription%aabbreviate
2014-06-02 09:43:39 6579
原创 解决无法切换到jenkins用户的问题
su - jenkins一直有效,今天在centos发现无效,原因是/etc/password文件中的/bin/bash被yum安装的时候变成了/bin/false.修改后就可以了。ubuntu安装包和yum安装包行为不一致啊。
2014-06-01 14:50:57 6277
JSF2自定义组件编程系列 第五部分 源代码
2011-01-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人