2013年01月_longshenlmj

转载 ant的基本说明

Ant是一个Apache基金会下的跨平台的构件工具，它可以实现项目的自动构建和部署等功能。在本文中，主要让读者熟悉怎样将Ant应用到Java项目中，让它简化构建和部署操作。一．安装与配置下载地址：http://ant.apache.org/，在本文中下载的是1.7.0版本。解压到某个目录（例如E:"apache-ant-1.7.0），即可使用。添加系统环境变量：ANT_HOME，该

2013-01-29 15:47:57 835

转载 ant的简明教程，后面运行写的不错

1. Ant简介：这里引用Ant帮助文档中对Ant的介绍：Apache Ant是一个基于Java的构建工具。从理论上讲，也是一种类似于Make的工具，只是去除了Make工具的缺点。既然已经有了make,gnumake,nmake,jam以及其他的构件工具，为什么还要Ant呢？因为Ant的早期开发者发现所有以上这些工具都或多或少的有一些局限性，使得在跨平台开发软件成

2013-01-29 15:23:22 1595

转载 gcc的基本使用方法

初学时最好从命令行入手，这样可以熟悉从编写程序、编译、调试和执行的整个过程。编写程序可以用vi或其它编辑器编写。编译则使用GCC命令。要往下学习首先就得熟悉GCC命令的用法。GCC命令提供了非常多的命令选项，但并不是所有都要熟悉，初学时掌握几个常用的就可以了，到后面再慢慢学习其它选项，免得因选项太多而打击了学习的信心。一. 常用编译命令选项假设源程序文件名为test.c。1. 无选

2013-01-25 15:17:41 1140

原创 LINUX nautilus 命令

在cent os上，想要将终端上某个目录的文件拷贝到桌面上，通过filesystem去查找很麻烦，也很难找到对应路径。这个问题可以通过 nautilus命令解决，进入拷贝文件的目录中，在当前位置上键入 nautilus命令，会以窗口形式打开当前目录。在linux命令行界面中，也就是终端上，键入nautilus(鹦鹉螺)，会以root权限打开一个窗口，窗口内容是终端上的位置，从而可以用ro

2013-01-23 11:19:31 5600

原创 linux中用到的命令

shell脚本：1，date 命令：beg_s=`date -d "$datebeg" +%s`dateitem=`date -d @$beg_s +"%Y-%m-%d"` 其中，-d是将时间数据变成秒的形式。但是，@不能少，是将变量变成制定格式！ http://baike.baidu.com/view/6397758.htm最后面是所有命令的详细介绍，挺好的

2013-01-17 21:27:13 575

原创 vim中设置pig高亮

http://www.vim.org/scripts/script.php?script_id=2186中有详细介绍。两步操作install details1) copy pig.vim file into your ~/.vim/syntax/ directory; 2) add the following three lines to your ~/

2013-01-16 14:26:46 2829

转载 which与whereis区别

which 查看可执行文件的位置whereis 查看文件的位置locate 配合数据库查看文件位置find 实际搜寻硬盘查询文件名称1、which语法：[root@redhat ~]# which 可执行文件名称例如：[root@redhat ~]# which passwd/usr/bin/passwdwhich是通过

2013-01-16 13:33:32 1058

转载 linux 下的ps与jps

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。unix系统里的ps命令，这个命令主要是用来显示当前系统的进程情况，有哪些进程，及其 id。 jps 也是一样，它的作用是显示当前系统的java进程情况，及

2013-01-16 10:36:52 3886

原创 pig中distinct用法

Distinct 只能处理整个记录，不能是一个域。--distinct.pigdaily = load 'NYSE_daily' as (exchange:chararray, symbol:chararray);uniq = distinct daily;uniq是一个整体表。 “distinct forces a reduce phase. It does

2013-01-11 20:13:02 3081 1

原创简单的hadoop配置（我安装的问题）

按实战hadoop上的讲解一步步操作，还是遇到不少问题，1. 伪分布模式的配置： java的环境变量，一般配置在conf/hadoop-env.sh中。我们为了统一方便，直接在/etc/profile中，直接加入相关的问题，在同事的blog都有介绍，我不赘述，参看：http://blog.csdn.net/shuhuai007/article/details/8298845

2013-01-11 16:27:41 908 1

原创 hadoop 统计一个目录的文件大小

du使用方法：hadoop fs -du URI [URI …]指定目录时，显示该目录中所有文件的大小，而当只指定一个文件时，只显示此文件的大小。示例：hadoop fs -du /user/hadoop/dir1返回值：成功返回0，失败返回-1。dus 使用方法：hadoop fs -dus 显示文件的大小

2013-01-11 15:59:40 22009

转载 hadoop不能用root用户启动，会报错

[Hadoop]问题记录：Hadoop在root用户下启动错误：File /user/root/input/slaves could only be replicated to 0 nodes, in 分类：分布式计算2011-08-03 11:341345人阅读评论(0)收藏举报在盛大云上启动了一个虚拟机，默认用户是root，运行hadoo

2013-01-10 22:17:18 4611

转载 hadoop基本配置信息

获取默认配置：引自http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，

2013-01-10 16:42:22 780

原创 pig中将两列合并为一列：concat

aggregate=congregate 在新任务中，需要统计两个属性组成的集合，对应有多少个unique 元组。在pig中统计是很恶心的事，必须先group （详见http://blog.csdn.net/longshenlmj/article/details/8481932）我想通过cogroup做，发现不合适。于是还是用group 做：T=group table by （

2013-01-08 16:53:24 3232

原创 pig中对元组不能直接使用聚集函数（如COUNT）

pig中想要使用统计等aggregate函数，必须先group，再进行。而如何设计group也就成了一个相对麻烦的过程，这给程序设计造成了不小的麻烦。所以pig很强大，但其语法还是有些晦涩，存在很大进步空间。pig和sql不同，在sql中，可以直接对当前表使用aggregate函数，如count，进行统计计算。而在pig中，必须是先group后，实现了聚集后，再使用相关的aggrega

2013-01-08 16:43:50 1498

转载 pig对应sql的基本命令

1.从文件导入数据1)Mysql (Mysql需要先创建表).CREATE TABLE TMP_TABLE(USER VARCHAR(32),AGEINT,IS_MALE BOOLEAN);CREATE TABLE TMP_TABLE_2(AGE INT,OPTIONSVARCHAR(50)); --用于JoinLOAD DATA LOCAL INFILE '/tmp/data

2013-01-07 18:13:53 2169

原创 pig中cogroup的使用

%default file test.txtA = load '$file' as (date, web, name, food);B = load '$file' as (date, web, name, food);C= cogroup A by $0, B by $1;describe C;illustrate C;dumpC;cogroup命令中$0和$1，两个

2013-01-07 18:10:59 1714

longshenlmj的专栏