背景
Darts是双数组的c++ （template）实现，用来存储、查询大规模词表非常方便。缺点是只能够使用“字符串完全匹配”，而不能查询“某个字符串是否是另外一个字符串的字串”这样的需求。
如下原因结合起来，促使要在java codebase中使用Darts：
1. 词表规模巨大，存储、查询效率很低
2. Darts是c++实现，现有Hadoop codebase是java的，无法直接使用
技术思路：
1. 用c++进一步包装Darts接口（这一步必须要做，因为darts实现在.h中——template+inline牛B，默认使用方式是在c++project中直接包含头文件就能调用相关接口），并生成动态链接库
2. 用JNI（java native interface）进一步包装动态库，形成java接口
3. 在现有codebase中调用JNI
使用方法
这部分讲如何使用已经包装好的Darts。具体Darts是如何包装的，后面再详细说。
Darts JNI接口
接口定义在Darts.java文件中：
public class Darts {
public static native boolean BuildDict (String fileInput, String fileDictOutput);
public static native boolean LoadDict (String fileDict);
public static native boolean IsInDict (String term);
static
{
System.loadLibrary("Darts");
}
public static void main(String[] args) throws Exception {
System.out.println ("In this project, we test jni!\n");
……
} // main
}三个接口，分别创建词典、加载词典和判断某个字符串是否在词典中。
创建Darts词典
1. 将词典放到文本文件中，以UTF-8保存，在windows平台，UE中可以选择“UTF-8-无BOM”
2. 在java中调用BuildDict函数，输入参数为步骤1中的文本文件，输出为Darts格式的词典文件，例如：在Darts.java的main函数中作如下调用：
Darts.BuildDict("/xxx/xxx_utf8.txt", "/xxx/xxx_utf8.dict");3. 运行上述调用程序，生成词典文件
如果在windows + eclipse上直接运行，会提示找不到动态库Darts，是在这里调用的：static
{
System.loadLibrary("Darts");
}实际上是找不到libDarts.so文件。而且在windows环境下，.so文件也无法正常加载。解决方法是打成jar包，放到linux环境下，用‘-Djava.library.path’选项来指明.so文件所在的路径，例如：
java -Djava.library.path='/xxx/MyDarts'-jar /xxx/tmp/DartsForJni.jar myDarts
我编译的libDarts.so文件在'/xxx/MyDarts'路径下。
Hadoop上使用Darts词典
1. 在map class的setup函数中load词典，调用Darts.LoadDict函数
protected void setup(Context context) throws IOException, InterruptedException
{
if (!Darts.LoadDict("xxx_utf8.dict"))
return;
}
2. 在map或者reduce class函数中使用词典，调用Darts.IsInDict函数
protected void map(Writable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString().trim();
if (Darts.IsInDict(line.toString()))
{
context.write(new Text(line.toString()), new LongWritable(1));
}
}
注意！一定要确定line中用的是utf8编码格式的字符。而且，我看JNI（jni.h）中的接口函数，似乎字符串值能够用utf8的；或者即便是用它的jchar转换编码，也比较麻烦。这个是jni.h中的接口片段：
jstring (JNICALL *NewStringUTF)
(JNIEnv *env, const char *utf);
jsize (JNICALL *GetStringUTFLength)
(JNIEnv *env, jstring str);
const char* (JNICALL *GetStringUTFChars)
(JNIEnv *env, jstring str, jboolean *isCopy);
void (JNICALL *ReleaseStringUTFChars)
(JNIEnv *env, jstring str, const char* chars);
在实际实现libDarts.so的时候，调用的是GetStringUTFChars。为避免麻烦，也就统一用utf8好了。如果不确定读取数据的编码，可以用以下方式转换编码：
String line = value.toString().trim();
String line_utf8 = new String (line.getBytes("UTF-8"), "UTF-8");
if (Darts.IsInDict(line_utf8.toString()))
{
context.write(new Text(line_utf8.toString()), new LongWritable(1));
}3. 提交hadoop任务
提交的时候，需要将libDarts.so和词典文件（我的是xxx_utf8.dict）同jar包一起上传，并且在运行时能够正确找到libDarts.so所在的路径。需要两方面工作：
a) 在hadoop控制函数中加入如下代码
Configuration conf = new Configuration();
GenericOptionsParser goparser = new GenericOptionsParser(conf, args);
String otherargs [] = goparser.getRemainingArgs();b) 命令行用‘-files’指定要同jar包一起分发到tasknode上的文件，如：
hadoop jar /xxx/tmp/DartsForJniHadoop.jar -files /xxx/MyDarts/libDarts.so,/xxx/xxx_utf8.dict MyDarts.Darts /xxx/tmp1/aaa.txt /xxx/tmp2重点是‘-files’后面的两个文件，都是本地路径。再往后的参数分别是：main函数所在的包、输入路径、输出路径。
高级知识——JNI
这一部分讲一下怎么用JNI来调用c++的东西。结合上面的内容，就是libDarts.so是怎么生成的。讲完这个，就完整了。这两天尝试的就是这些内容。
JNI是javanative interface的缩写。所谓的’native’就是指本地的环境，与Java虚拟机环境相对。
接下来以libDarts.so为例，讲讲这东西怎么生成的。
1. 首先定义java接口，对应上文的内容，就是写com.sohu.bright.tool.Darts.java文件中的内容。注意文件中的函数接口都有‘native’关键字，表明这是一个native函数，不在javacodebase中实现，而由外部来实现。
2. 编译com.sohu.bright.tool.Darts.java文件，生成Darts.class文件。我用的eclipse，自动编译生成。在linux下用’java’命令即可。
3. 用javah命令，从Darts.class文件中生成c/c++的头文件，如：
javah -jni -classpath . MyDarts.Darts注意！需要注意路径。Java中相对Darts.class的当前路径（-classpath后面那个“.”）指的是“MyDarts\Darts.class”，是与package相关的。
生成的头文件MyDarts_Darts.h，内容如下：
/* DO NOT EDIT THIS FILE - it is machine generated */
#include <jni.h>
/* Header for class MyDarts_Darts */
#ifndef _Included_MyDarts_Darts
#define _Included_MyDarts_tool_Darts
#ifdef __cplusplus
extern "C" {
#endif
/*
* Class: MyDarts_Darts
* Method: BuildDict
* Signature: (Ljava/lang/String;Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_BuildDict
(JNIEnv *, jclass, jstring, jstring);
/*
* Class: MyDarts_Darts
* Method: LoadDict
* Signature: (Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_LoadDict
(JNIEnv *, jclass, jstring);
/*
* Class: MyDarts_Darts
* Method: IsInDict
* Signature: (Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_IsInDict
(JNIEnv *, jclass, jstring);
#ifdef __cplusplus
}
#endif
#endif其实这东西也能人来写，不必从.class文件中生成；不过自动生成更方便一些、也更标准。
4. 写MyDarts_Darts.cpp文件，实现MyDarts_Darts.h中定义的接口，内容如下：
#include <jni.h>
#include "darts.h"
#include "MyDarts_Darts.h"
#include <iostream>
#include <string>
#include <vector>
#include <fstream>
#include <algorithm>
using namespace std;
// the global variable for dictionary
Darts::DoubleArray thedict;
/*
* Class: MyDarts_Darts
* Method: BuildDict
* Signature: (Ljava/lang/String;Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_BuildDict
(JNIEnv *env, jclass obj, jstring fileInput, jstring fileDictOutput)
{
// get the file name strings
const char *pFileInput = NULL;
const char *pFileDictOutput = NULL;
pFileInput = env->GetStringUTFChars (fileInput, false);
pFileDictOutput = env->GetStringUTFChars (fileDictOutput, false);
if (pFileInput == NULL || pFileDictOutput == NULL)
return false;
// load the terms and sort
ifstream in (pFileInput);
if (!in)
{
cerr << "Can not open the file of " << pFileInput << endl;
return false;
}
string sTerm;
vector<string> TermVec;
while (getline (in, sTerm))
{
// trim it
if ('\n' == sTerm.at (sTerm.length()-1)
|| '\t' == sTerm.at (sTerm.length()-1))
{
if ('\n' == sTerm.at (sTerm.length()-2)
|| '\t' == sTerm.at (sTerm.length()-2))
sTerm.erase (sTerm.length()-2);
else
sTerm.erase (sTerm.length()-1);
}
TermVec.push_back(sTerm);
}
sort (TermVec.begin(), TermVec.end()); // it's necessary to build dictionary for darts
// make TermVec as a c-style string array, and make the value array
char ** pTermAry = (char **)malloc (TermVec.size() * sizeof(char *));
vector<string>::iterator pIter = TermVec.begin();
int i = 0;
while (pIter != TermVec.end())
{
pTermAry[i] = (char*)pIter->c_str();
pIter++;
i++;
}
// build the dictionary for darts and output it
thedict.build (TermVec.size(), pTermAry, 0, 0);
thedict.save (pFileDictOutput);
// clean up
free (pTermAry);
env->ReleaseStringUTFChars(fileInput, pFileInput);
env->ReleaseStringUTFChars(fileDictOutput, pFileDictOutput);
return true;
}
/*
* Class: MyDarts_Darts
* Method: LoadDict
* Signature: (Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_LoadDict
(JNIEnv *env, jclass obj, jstring fileDictInput)
{
// get the file name strings
const char *pFileDictInput = NULL;
pFileDictInput = env->GetStringUTFChars (fileDictInput, false);
if (pFileDictInput == NULL)
return false;
// load the dictionary
if (-1 == thedict.open (pFileDictInput))
{
cerr << "Can not open the file of " << pFileDictInput << endl;
return false;
}
env->ReleaseStringUTFChars(fileDictInput, pFileDictInput);
return true;
}
/*
* Class: MyDarts_Darts
* Method: IsInDict
* Signature: (Ljava/lang/String;)Z
*/
JNIEXPORT jboolean JNICALL Java_MyDarts_Darts_IsInDict
(JNIEnv *env, jclass obj, jstring term)
{
// get the file name strings
const char *pTerm = NULL;
pTerm = env->GetStringUTFChars (term, false);
if (pTerm == NULL)
return false;
int iVal = 0;
thedict.exactMatchSearch (pTerm, iVal);
env->ReleaseStringUTFChars(term, pTerm);
if (-1 == iVal)
return false;
else
return true;
}5. g++生成动态库
命令如下：
g++ -I/usr/lib/jvm/java/include-I/usr/lib/jvm/java/include/linuxMyDarts_Darts.cpp -fPIC-shared -o libDarts.so
需要注意两个地方：
a) 需要注意的是一定要用‘-I’参数将包含jni.h的路径指明，否则找不到头文件，编译出错。
b) 文件名一定要用‘libxxx.so’，其中‘xxx’是动态库的名字，也是代码（无论java还是c++）中load动态库的名字。其余的，‘lib’小写。最常犯的错误是将文件名指定为‘xxx.so’。
至此，libDarts.so文件生成，按照上文的方法就可以正常使用。
参考文献：
扫一扫
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
