package com.huawei.mlkit.advance;
import android.content.Intent;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.graphics.Point;
import android.os.Bundle;
import android.view.View;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.TextView;
import android.widget.Toast;
import androidx.appcompat.app.AppCompatActivity;
import com.huawei.alliance.ml.ImageSelectedAct;
import com.huawei.hmf.tasks.OnFailureListener;
import com.huawei.hmf.tasks.OnSuccessListener;
import com.huawei.hmf.tasks.Task;
import com.huawei.hms.mlsdk.MLAnalyzerFactory;
import com.huawei.hms.mlsdk.common.MLFrame;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzer;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzerFactory;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzerSetting;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionCoordinateInput;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionResult;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewDetectResult;
import com.huawei.hms.mlsdk.text.MLLocalTextSetting;
import com.huawei.hms.mlsdk.text.MLText;
import com.huawei.hms.mlsdk.text.MLTextAnalyzer;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
/**
* 主Activity,请不要删除,否则影响考试成绩
*/
public class MainActivity extends AppCompatActivity {
// 选择的图片回调 requestCode - 请不要删除,否则影响考试成绩
private static final int REQUEST_IMG = 1000;
// 选择的图片 - 请不要删除,否则影响考试成绩
private ImageView mIvSelected;
// 矫正的图片 - 请不要删除,否则影响考试成绩
private ImageView mIvSkewResult;
// 识别文本的内容 - 请不要删除,否则影响考试成绩
private TextView mTvResult;
// 选择图片实体类 - 请不要删除,否则影响考试成绩
private int mImageId;
// 图片矫正成功保存的Bitmap - 请不要删除,否则影响考试成绩
private Bitmap mSkewBitmap;
//选择图片按钮
private Button mBtnImagerSelect;
//文本框检测/校正分析器
private MLDocumentSkewCorrectionAnalyzer mSkewCorrectionAnalyzer = null;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
initView();
}
/**
* 初始化View - 请不要删除,否则影响考试成绩
*/
private void initView() {
// 选择的图片 - 请不要删除,否则影响考试成绩
mIvSelected = findViewById(R.id.selectedImg);
// 矫正图片 - 请不要删除,否则影响考试成绩
mIvSkewResult = findViewById(R.id.documentResultImg);
// 文档识别的内容 - 请不要删除,否则影响考试成绩
mTvResult = findViewById(R.id.textAnalyzerResult);
// TODO 获取id为btn_imageSelect的Button控件mBtnImagerSelect
mBtnImagerSelect = findViewById(R.id.btn_imageSelect);
if (null != mBtnImagerSelect) {
mBtnImagerSelect.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现选择图片功能 - 请不要删除,否则影响考试成绩
startActivityForResult(new Intent(MainActivity.this, ImageSelectedAct.class), REQUEST_IMG);
}
});
}
findViewById(R.id.btn_documentSkew).setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现文档矫正功能 - 请不要删除,否则影响考试成绩
onDocumentSkewAsync();
}
});
findViewById(R.id.btn_textAnalyzer).setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现文本识别功能 - 请不要删除,否则影响考试成绩
onTextAsync();
}
});
}
/**
* 展示选择图片 - 请不要删除,否则影响考试成绩
*/
private void createImageBySelectedImageId() {
if (mImageId == 0) {
return;
}
mIvSelected.setImageResource(mImageId);
}
/**
* 展示识别图片中文字- 请不要删除,否则影响考试成绩
*/
private void initResult(List<MLText.Block> blocks) {
StringBuilder result = new StringBuilder();
for (MLText.Block block : blocks) {
for (MLText.TextLine line : block.getContents()) {
String value = line.getStringValue();
result.append(value).append("\n");
}
}
this.mTvResult.setText(result.toString());
}
/**
* 实现文档矫正功能 ~ 文档检测 - 请不要删除,否则影响考试成绩
*/
private void onDocumentSkewAsync() {
if (mImageId == 0) {
Toast.makeText(this, "请选择图片", Toast.LENGTH_SHORT).show();
return;
}
// TODO 创建文本框检测/校正分析器,并赋值mSkewCorrectionAnalyzer
MLDocumentSkewCorrectionAnalyzerSetting setting = new MLDocumentSkewCorrectionAnalyzerSetting.Factory().create();
mSkewCorrectionAnalyzer = MLDocumentSkewCorrectionAnalyzerFactory.getInstance().getDocumentSkewCorrectionAnalyzer(setting);
// 根据选择图片的Id生成Bitmap - 请不要删除,否则影响考试成绩
Bitmap bitmap = BitmapFactory.decodeResource(this.getResources(), mImageId);
// TODO 根据选择图片Id生成的Bitmap,创建生成MLFrame对象
MLFrame frame = MLFrame.fromBitmap(bitmap);
// TODO 使用生成的文本框检测/校正分析构造器 调用异步检测文档接口 asyncDocumentSkewDetect
// asyncDocumentSkewDetect异步调用。
Task<MLDocumentSkewDetectResult> detectTask = mSkewCorrectionAnalyzer.asyncDocumentSkewDetect(frame);
// TODO 回调接口添加addOnSuccessListener监听,
// 在onSuccess(MLDocumentSkewDetectResult detectResult)回调成功方法中调用 文档矫正接口 onDocumentSkewCorrect
detectTask.addOnSuccessListener(new OnSuccessListener<MLDocumentSkewDetectResult>() {
@Override
public void onSuccess(MLDocumentSkewDetectResult detectResult) {
// 检测成功。
onDocumentSkewCorrect(mSkewCorrectionAnalyzer,frame,detectResult);
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 检测失败。
}
});
}
/**
* 实现文档矫正功能 ~ 矫正 - 请不要删除,否则影响考试成绩
*/
private void onDocumentSkewCorrect(MLDocumentSkewCorrectionAnalyzer skewAnalyzer, MLFrame frame, MLDocumentSkewDetectResult detectResult) {
if (skewAnalyzer == null || frame == null || detectResult == null) {
return;
}
// TODO 根据detectResult 生成 左上,右上,右下,左下 四个点 Point,
Point leftTop = detectResult.getLeftTopPosition();
Point rightTop = detectResult.getRightTopPosition();
Point leftBottom = detectResult.getLeftBottomPosition();
Point rightBottom = detectResult.getRightBottomPosition();
// TODO 根据生成点 Point 集合 构建MLDocumentSkewCorrectionCoordinateInput对象。
List<Point> coordinates = new ArrayList<>();
coordinates.add(leftTop);
coordinates.add(rightTop);
coordinates.add(rightBottom);
coordinates.add(leftBottom);
MLDocumentSkewCorrectionCoordinateInput coordinateData = new MLDocumentSkewCorrectionCoordinateInput(coordinates);
// TODO 调用矫正接口 asyncDocumentSkewCorrect
Task<MLDocumentSkewCorrectionResult> correctionTask = skewAnalyzer.asyncDocumentSkewCorrect(frame, coordinateData);
// TODO 在回调接口监听onSuccess中 将矫正成功图片的Bitmap对象,赋值给 mSkewBitmap, 并使用 mIvSkewResult 展示矫正图片
correctionTask.addOnSuccessListener(new OnSuccessListener<MLDocumentSkewCorrectionResult>() {
@Override
public void onSuccess(MLDocumentSkewCorrectionResult refineResult) {
// 检测成功。
mSkewBitmap=refineResult.getCorrected();
mIvSkewResult.setImageBitmap(mSkewBitmap);
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 检测失败。
}
});
}
/**
* 实现文本识别功能 - 请不要删除,否则影响考试成绩
*/
private void onTextAsync() {
if (mSkewBitmap == null) {
return;
}
// TODO 根据文档矫正生成的 mSkewBitmap 对象,创建 MLFrame对象
// 通过bitmap创建MLFrame,bitmap为输入的Bitmap格式图片数据。
MLFrame frame = MLFrame.fromBitmap(mSkewBitmap);
// TODO 根据MLLocalTextSetting对象创建文本识别 MLTextAnalyzer 对象
MLLocalTextSetting setting = new MLLocalTextSetting.Factory()
.setOCRMode(MLLocalTextSetting.OCR_DETECT_MODE)
// 设置识别语种。
.setLanguage("zh")
.create();
MLTextAnalyzer analyzer = MLAnalyzerFactory.getInstance().getLocalTextAnalyzer(setting);
// TODO 调用异步识别方法 asyncAnalyseFrame
Task<MLText> task = analyzer.asyncAnalyseFrame(frame);
// TODO 在回调接口监听onSuccess中 获取文本识别对象MLText,并调用 initResult(text.getBlocks()) 方法展示识别的文字信息
task.addOnSuccessListener(new OnSuccessListener<MLText>() {
@Override
public void onSuccess(MLText text) {
// 识别成功处理。
initResult(text.getBlocks());
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 识别失败处理。
}
});
}
@Override
protected void onActivityResult(int requestCode, int resultCode, Intent data) {
super.onActivityResult(requestCode, resultCode, data);
// 请不要删除以及修改,否则影响考试成绩
if (requestCode == REQUEST_IMG) {
if (data != null && data.getExtras() != null) {
Bundle bundle = data.getExtras();
if (bundle.containsKey("imageId")) {
mImageId = bundle.getInt("imageId");
createImageBySelectedImageId();
}
}
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (null != mSkewCorrectionAnalyzer) {
try {
mSkewCorrectionAnalyzer.stop();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
package com.huawei.mlkit.advance;
import android.content.Intent;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.graphics.Point;
import android.os.Bundle;
import android.view.View;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.TextView;
import android.widget.Toast;
import androidx.appcompat.app.AppCompatActivity;
import com.huawei.alliance.ml.ImageSelectedAct;
import com.huawei.hmf.tasks.OnFailureListener;
import com.huawei.hmf.tasks.OnSuccessListener;
import com.huawei.hmf.tasks.Task;
import com.huawei.hms.mlsdk.MLAnalyzerFactory;
import com.huawei.hms.mlsdk.common.MLFrame;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzer;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzerFactory;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionAnalyzerSetting;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionCoordinateInput;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewCorrectionResult;
import com.huawei.hms.mlsdk.dsc.MLDocumentSkewDetectResult;
import com.huawei.hms.mlsdk.text.MLLocalTextSetting;
import com.huawei.hms.mlsdk.text.MLText;
import com.huawei.hms.mlsdk.text.MLTextAnalyzer;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
/**
* 主Activity,请不要删除,否则影响考试成绩
*/
public class MainActivity extends AppCompatActivity {
// 选择的图片回调 requestCode - 请不要删除,否则影响考试成绩
private static final int REQUEST_IMG = 1000;
// 选择的图片 - 请不要删除,否则影响考试成绩
private ImageView mIvSelected;
// 矫正的图片 - 请不要删除,否则影响考试成绩
private ImageView mIvSkewResult;
// 识别文本的内容 - 请不要删除,否则影响考试成绩
private TextView mTvResult;
// 选择图片实体类 - 请不要删除,否则影响考试成绩
private int mImageId;
// 图片矫正成功保存的Bitmap - 请不要删除,否则影响考试成绩
private Bitmap mSkewBitmap;
//选择图片按钮
private Button mBtnImagerSelect;
//文本框检测/校正分析器
private MLDocumentSkewCorrectionAnalyzer mSkewCorrectionAnalyzer = null;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
initView();
}
/**
* 初始化View - 请不要删除,否则影响考试成绩
*/
private void initView() {
// 选择的图片 - 请不要删除,否则影响考试成绩
mIvSelected = findViewById(R.id.selectedImg);
// 矫正图片 - 请不要删除,否则影响考试成绩
mIvSkewResult = findViewById(R.id.documentResultImg);
// 文档识别的内容 - 请不要删除,否则影响考试成绩
mTvResult = findViewById(R.id.textAnalyzerResult);
// TODO 获取id为btn_imageSelect的Button控件mBtnImagerSelect
mBtnImagerSelect = findViewById(R.id.btn_imageSelect);
if (null != mBtnImagerSelect) {
mBtnImagerSelect.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现选择图片功能 - 请不要删除,否则影响考试成绩
startActivityForResult(new Intent(MainActivity.this, ImageSelectedAct.class), REQUEST_IMG);
}
});
}
findViewById(R.id.btn_documentSkew).setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现文档矫正功能 - 请不要删除,否则影响考试成绩
onDocumentSkewAsync();
}
});
findViewById(R.id.btn_textAnalyzer).setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
// 实现文本识别功能 - 请不要删除,否则影响考试成绩
onTextAsync();
}
});
}
/**
* 展示选择图片 - 请不要删除,否则影响考试成绩
*/
private void createImageBySelectedImageId() {
if (mImageId == 0) {
return;
}
mIvSelected.setImageResource(mImageId);
}
/**
* 展示识别图片中文字- 请不要删除,否则影响考试成绩
*/
private void initResult(List<MLText.Block> blocks) {
StringBuilder result = new StringBuilder();
for (MLText.Block block : blocks) {
for (MLText.TextLine line : block.getContents()) {
String value = line.getStringValue();
result.append(value).append("\n");
}
}
this.mTvResult.setText(result.toString());
}
/**
* 实现文档矫正功能 ~ 文档检测 - 请不要删除,否则影响考试成绩
*/
private void onDocumentSkewAsync() {
if (mImageId == 0) {
Toast.makeText(this, "请选择图片", Toast.LENGTH_SHORT).show();
return;
}
// TODO 创建文本框检测/校正分析器,并赋值mSkewCorrectionAnalyzer
MLDocumentSkewCorrectionAnalyzerSetting setting = new MLDocumentSkewCorrectionAnalyzerSetting.Factory().create();
mSkewCorrectionAnalyzer = MLDocumentSkewCorrectionAnalyzerFactory.getInstance().getDocumentSkewCorrectionAnalyzer(setting);
// 根据选择图片的Id生成Bitmap - 请不要删除,否则影响考试成绩
Bitmap bitmap = BitmapFactory.decodeResource(this.getResources(), mImageId);
// TODO 根据选择图片Id生成的Bitmap,创建生成MLFrame对象
MLFrame frame = MLFrame.fromBitmap(bitmap);
// TODO 使用生成的文本框检测/校正分析构造器 调用异步检测文档接口 asyncDocumentSkewDetect
// asyncDocumentSkewDetect异步调用。
Task<MLDocumentSkewDetectResult> detectTask = mSkewCorrectionAnalyzer.asyncDocumentSkewDetect(frame);
// TODO 回调接口添加addOnSuccessListener监听,
// 在onSuccess(MLDocumentSkewDetectResult detectResult)回调成功方法中调用 文档矫正接口 onDocumentSkewCorrect
detectTask.addOnSuccessListener(new OnSuccessListener<MLDocumentSkewDetectResult>() {
@Override
public void onSuccess(MLDocumentSkewDetectResult detectResult) {
// 检测成功。
onDocumentSkewCorrect(mSkewCorrectionAnalyzer,frame,detectResult);
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 检测失败。
}
});
}
/**
* 实现文档矫正功能 ~ 矫正 - 请不要删除,否则影响考试成绩
*/
private void onDocumentSkewCorrect(MLDocumentSkewCorrectionAnalyzer skewAnalyzer, MLFrame frame, MLDocumentSkewDetectResult detectResult) {
if (skewAnalyzer == null || frame == null || detectResult == null) {
return;
}
// TODO 根据detectResult 生成 左上,右上,右下,左下 四个点 Point,
Point leftTop = detectResult.getLeftTopPosition();
Point rightTop = detectResult.getRightTopPosition();
Point leftBottom = detectResult.getLeftBottomPosition();
Point rightBottom = detectResult.getRightBottomPosition();
// TODO 根据生成点 Point 集合 构建MLDocumentSkewCorrectionCoordinateInput对象。
List<Point> coordinates = new ArrayList<>();
coordinates.add(leftTop);
coordinates.add(rightTop);
coordinates.add(rightBottom);
coordinates.add(leftBottom);
MLDocumentSkewCorrectionCoordinateInput coordinateData = new MLDocumentSkewCorrectionCoordinateInput(coordinates);
// TODO 调用矫正接口 asyncDocumentSkewCorrect
Task<MLDocumentSkewCorrectionResult> correctionTask = skewAnalyzer.asyncDocumentSkewCorrect(frame, coordinateData);
// TODO 在回调接口监听onSuccess中 将矫正成功图片的Bitmap对象,赋值给 mSkewBitmap, 并使用 mIvSkewResult 展示矫正图片
correctionTask.addOnSuccessListener(new OnSuccessListener<MLDocumentSkewCorrectionResult>() {
@Override
public void onSuccess(MLDocumentSkewCorrectionResult refineResult) {
// 检测成功。
mSkewBitmap=refineResult.getCorrected();
mIvSkewResult.setImageBitmap(mSkewBitmap);
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 检测失败。
}
});
}
/**
* 实现文本识别功能 - 请不要删除,否则影响考试成绩
*/
private void onTextAsync() {
if (mSkewBitmap == null) {
return;
}
// TODO 根据文档矫正生成的 mSkewBitmap 对象,创建 MLFrame对象
// 通过bitmap创建MLFrame,bitmap为输入的Bitmap格式图片数据。
MLFrame frame = MLFrame.fromBitmap(mSkewBitmap);
// TODO 根据MLLocalTextSetting对象创建文本识别 MLTextAnalyzer 对象
MLLocalTextSetting setting = new MLLocalTextSetting.Factory()
.setOCRMode(MLLocalTextSetting.OCR_DETECT_MODE)
// 设置识别语种。
.setLanguage("zh")
.create();
MLTextAnalyzer analyzer = MLAnalyzerFactory.getInstance().getLocalTextAnalyzer(setting);
// TODO 调用异步识别方法 asyncAnalyseFrame
Task<MLText> task = analyzer.asyncAnalyseFrame(frame);
// TODO 在回调接口监听onSuccess中 获取文本识别对象MLText,并调用 initResult(text.getBlocks()) 方法展示识别的文字信息
task.addOnSuccessListener(new OnSuccessListener<MLText>() {
@Override
public void onSuccess(MLText text) {
// 识别成功处理。
initResult(text.getBlocks());
}
}).addOnFailureListener(new OnFailureListener() {
@Override
public void onFailure(Exception e) {
// 识别失败处理。
}
});
}
@Override
protected void onActivityResult(int requestCode, int resultCode, Intent data) {
super.onActivityResult(requestCode, resultCode, data);
// 请不要删除以及修改,否则影响考试成绩
if (requestCode == REQUEST_IMG) {
if (data != null && data.getExtras() != null) {
Bundle bundle = data.getExtras();
if (bundle.containsKey("imageId")) {
mImageId = bundle.getInt("imageId");
createImageBySelectedImageId();
}
}
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (null != mSkewCorrectionAnalyzer) {
try {
mSkewCorrectionAnalyzer.stop();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}