Pig的核心代码剥离出来后，我们可以慢慢深入到代码内部去了。
网上大多数源代码分析的文章，都是从几个核心类开始分析，画类图、流程图等等。现在让我们换个方式，像剥洋葱那样，从外围开始入手，
一步步深入到最核心的代码，这样可以有个坡度，降低分析难度。
我们首先观察一下Pig的源代码文件名，可以发现，有许多文件，从名字上就能看出它是干什么的，比如IsDouble.java，显然是判断
是否Double值的；XPath.java,显然是处理XML中XPath相关工作的。以下是IsDouble类和XPath类的代码：
/**
* This UDF is used to check whether the String input is a Double.
* Note this function checks for Double range.
* If range is not important, use IsNumeric instead if you would like to check if a String is numeric.
* Also IsNumeric performs slightly better compared to this function.
*/
public class IsDouble extends EvalFunc<Boolean> {
@Override
public Boolean exec(Tuple input) throws IOException {
if (input == null || input.size() == 0) return false;
try {
String str = (String)input.get(0);
if (str == null || str.length() == 0) return false;
Double.parseDouble(str);
} catch (NumberFormatException nfe) {
return false;
} catch (ClassCastException e) {
warn("Unable to cast input "+input.get(0)+" of class "+
input.get(0).getClass()+" to String", PigWarning.UDF_WARNING_1);
return false;
}
return true;
}
@Override
public Schema outputSchema(Schema input) {
return new Schema(new Schema.FieldSchema(null, DataType.BOOLEAN));
}
}
/**
* XPath is a function that allows for text extraction from xml
*/
public class XPath extends EvalFunc<String> {
/** Hold onto last xpath & xml in case the next call to xpath() is feeding the same xml document
* The reason for this is because creating an xpath object is costly. */
private javax.xml.xpath.XPath xpath = null;
private String xml = null;
private Document document;
private static boolean cache = true;
/**
* input should contain: 1) xml 2) xpath 3) optional cache xml doc flag
*
* Usage:
* 1) XPath(xml, xpath)
* 2) XPath(xml, xpath, false)
*
* @param 1st element should to be the xml
* 2nd element should be the xpath
* 3rd optional boolean cache flag (default true)
*
* This UDF will cache the last xml document. This is helpful when multiple consecutive xpath calls are made for the same xml document.
* Caching can be turned off to ensure that the UDF's recreates the internal javax.xml.xpath.XPath for every call
*
* @return chararrary result or null if no match
*/
@Override
public String exec(final Tuple input) throws IOException {
if (input == null || input.size() <= 1) {
warn("Error processing input, not enough parameters or null input" + input,
PigWarning.UDF_WARNING_1);
return null;
}
if (input.size() > 3) {
warn("Error processing input, too many parameters" + input,
PigWarning.UDF_WARNING_1);
return null;
}
try {
final String xml = (String) input.get(0);
if(input.size() > 2)
cache = (Boolean) input.get(2);
if(!cache || xpath == null || !xml.equals(this.xml))
{
final InputSource source = new InputSource(new StringReader(xml));
this.xml = xml; //track the xml for subsequent calls to this udf
final DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
final DocumentBuilder db = dbf.newDocumentBuilder();
this.document = db.parse(source);
final XPathFactory xpathFactory = XPathFactory.newInstance();
this.xpath = xpathFactory.newXPath();
}
final String xpathString = (String) input.get(1);
final String value = xpath.evaluate(xpathString, document);
return value;
} catch (Exception e) {
warn("Error processing input " + input.getType(0),
PigWarning.UDF_WARNING_1);
return null;
}
}
@Override
public List<FuncSpec> getArgToFuncMapping() throws FrontendException {
final List<FuncSpec> funcList = new ArrayList<FuncSpec>();
/*either two chararray arguments*/
List<FieldSchema> fields = new ArrayList<FieldSchema>();
fields.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
fields.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
Schema twoArgInSchema = new Schema(fields);
funcList.add(new FuncSpec(this.getClass().getName(), twoArgInSchema));
/*or two chararray and a boolean argument*/
fields = new ArrayList<FieldSchema>();
fields.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
fields.add(new Schema.FieldSchema(null, DataType.CHARARRAY));
fields.add(new Schema.FieldSchema(null, DataType.BOOLEAN));
Schema threeArgInSchema = new Schema(fields);
funcList.add(new FuncSpec(this.getClass().getName(), threeArgInSchema));
return funcList;
}
}可以看出，它们都扩展了一个叫做EvalFunc的泛型类，使用过Pig人都知道，Pig可以进行UDF（用户自定义函数）的开发，以便实现自己的计算函数，而那些计算函数就需要继承这个泛型类。Pig中含有很多这种函数，说白了就是Pig已经写好的UDF。
这些UDF类的结构都比较简单，主要区别在于：
1. 返回参数类型不同
从上面可以看出，IsDouble的exec方法返回Boolean类型，用来判定输入是否是Double值；XPath的exec返回String类型，用来从XML中得到一个String值。
2. 具体的算法，即exec()方法的实现不同。
不同的功能的计算函数，实现方法当然不同。
这些类属于Pig源代码中处于辅助地位的类，简单看看它们的结构和算法实现即可，然后删除。
有同学问这么多代码文件，我是怎么删除掉Pig的UDF类的。由于我是在Windows下分析代码，所以使用了Visual Studio的Find In Files功能来查找含有“extends EvalFunc”的java文件，如果你在Linux下操作，Shell命令有类似功能，Eclipse也有。
以下是在Visual Studio中搜索的结果：
Matching lines: 319 Matching files: 248 Total files searched: 1157
可以看到，Pig含有248个这样的文件，有些扩展类本身仍然是泛型类，比如AccumulatorEvalFunc<T>
对于这些类，我把它们根据用途，分为以下几个组：
1. 类型判断组
特征是IsXXX命名，用于判断一个输入值是否是某种类型，比如上面提到的IsDouble，这一组的类都很简单。
2.格式转化组
特征是XXXToYYY命名，把输入类型XXX转化为输出类型YYY，比如ISOToUnix，代码如下：
/**
* <p>ISOToUnix converts ISO8601 datetime strings to Unix Time Longs</p>
* <ul>
* <li>Jodatime: http://joda-time.sourceforge.net/</li>
* <li>ISO8601 Date Format: http://en.wikipedia.org/wiki/ISO_8601</li>
* <li>Unix Time: http://en.wikipedia.org/wiki/Unix_time</li>
* </ul>
* <br />
* <pre>
* Example usage:
*
* REGISTER /Users/me/commiter/piggybank/java/piggybank.jar ;
* REGISTER /Users/me/commiter/piggybank/java/lib/joda-time-1.6.jar ;
*
* DEFINE ISOToUnix org.apache.pig.piggybank.evaluation.datetime.convert.ISOToUnix();
*
* ISOin = LOAD 'test.tsv' USING PigStorage('\t') AS (dt:chararray, dt2:chararray);
*
* DESCRIBE ISOin;
* ISOin: {dt: chararray,dt2: chararray}
*
* DUMP ISOin;
*
* (2009-01-07T01:07:01.000Z,2008-02-01T00:00:00.000Z)
* (2008-02-06T02:06:02.000Z,2008-02-01T00:00:00.000Z)
* (2007-03-05T03:05:03.000Z,2008-02-01T00:00:00.000Z)
* ...
*
* toUnix = FOREACH ISOin GENERATE ISOToUnix(dt) AS unixTime:long;
*
* DESCRIBE toUnix;
* toUnix: {unixTime: long}
*
* DUMP toUnix;
*
* (1231290421000L)
* (1202263562000L)
* (1173063903000L)
* ...
*</pre>
*/
public class ISOToUnix extends EvalFunc<Long> {
@Override
public Long exec(Tuple input) throws IOException
{
if (input == null || input.size() < 1) {
return null;
}
// Set the time to default or the output is in UTC
DateTimeZone.setDefault(DateTimeZone.UTC);
DateTime result = new DateTime(input.get(0).toString());
return result.getMillis();
}
@Override
public Schema outputSchema(Schema input) {
return new Schema(new Schema.FieldSchema(getSchemaName(this.getClass().getName().toLowerCase(), input), DataType.LONG));
}
@Override
public List<FuncSpec> getArgToFuncMapping() throws FrontendException {
List<FuncSpec> funcList = new ArrayList<FuncSpec>();
funcList.add(new FuncSpec(this.getClass().getName(), new Schema(new Schema.FieldSchema(null, DataType.CHARARRAY))));
return funcList;
}
}<strong></strong><pre name="code" class="html">
3. 数学运算组
特征是以数学运算名字来命名，比如SIN正弦函数，ASIN反正弦函数，MAX最大值函数，IntAbs整型绝对值函数，RANDOM随机数函数等等，实现都很简单。
这一组中还有关于大数运算的，输出是BigDecimal类型，比如BigDecimalAbs求大数绝对值，BigDecimalAvg求大数平均值等。
另外，日期运算是这一组的特殊情况，比如ISODaysBetween，计算两个日期之间的天数差。
4. 字符串处理组
特征是输入是String，命名是一个字符串的操作，比如UPPER转化为大写字符串，Reverse反转字符串，Trim剔除首尾空格等。
注意的是，还有HashFNV，HashFNV1等类，是用来根据一个字符串来求Hash值的，RegexMatch是根据一个正则表达式返回匹配字符串的。
5. 断言组
Assert类，用于判断一个表达式是否为True。请看代码：
public class Assert extends EvalFunc<Boolean>
{
@Override
public Boolean exec(Tuple tuple)
throws IOException
{
if (!(Boolean) tuple.get(0)) {
if (tuple.size() > 1) {
throw new IOException("Assertion violated: " + tuple.get(1).toString());
}
else {
throw new IOException("Assertion violated. ");
}
}
else {
return true;
}
}
}6.脚本执行组
这一组可以执行一个其他脚本语言写的方法，比如Jruby类，执行Ruby脚本，JsFunction类，执行Javascript脚本
经过以上分析，计算函数可以删除掉了，现在剩下大概820个java文件。
118
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
