Octopus和Humphrey PDF解析

已于 2022-04-30 12:58:24 修改
阅读量1.1k 收藏
点赞数
文章标签： golang
于 2022-04-30 12:46:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45744832/article/details/124510942
版权

Octopus和Humphrey PDF解析


  我最开始看到Octopus和Humphrey PDF报告里的文字可以复制的时候是十分开心的，因为直接提取文字的正确率几乎为100%，而OCR即使做得再好，也难免会有识别错误的时候。

  说干就干，我满怀期待地用github.com/ledongthuc/pdf包读取了一下Octopus和Humphrey PDF报告，结果什么都没有读取到。查询了一下才知道：github.com/ledongthuc/pdf包对结构复杂的PDF难以提取到文本信息。而由java语言写成jar包tika则擅长解析结构复杂的PDF，于是我尝试了一下用tika来实现我们伟大的目标：自动化提取Octopus和Humphrey PDF报告中的信息，从而解放双手。幸运的是，这次尝试是成功的。

1. 需要的工具

  工欲善其事必先利其器，我们需要使用的工具如下：

2. 源码

  配置好以上环境之后，就已经成功一大半了，接下来只需要复制、粘贴，而后运行即可。

  程序执行流程如下:

  1. 开启tika本地服务器
  2. 读取Names和IDs
  3. 解析PDF为Html，解析生成的Html
  4. 保存数据

  源码如下：

  2.1 CrackOctopus.go

package main

import (
    "bufio"
    "io"
    "io/ioutil"
    "os/exec"
    "context"
    "fmt"
    "encoding/csv"
    "github.com/google/go-tika/tika"
    "github.com/PuerkitoBio/goquery"
    "strings"
    "regexp"
    "log"
    "os"
    "time"
)

var (
    reg0 = regexp.MustCompile(`MS.+`)
    reg1 = regexp.MustCompile(`MD.+`)
    reg2 = regexp.MustCompile(`sLV.+`)
)


type Eye struct {
    whichEye,result string
}

func ReadFile(fileName string) (res [] string) {
    file, err := os.OpenFile(fileName, os.O_RDWR, 0666)
    if err != nil {
        fmt.Println("Open file error!", err)
        return
    }
    defer file.Close()

    stat, err := file.Stat()
    if err != nil {
        panic(err)
    }

    var size = stat.Size()
    fmt.Println("file size=", size)

    buf := bufio.NewReader(file)
    for {
        line, err := buf.ReadString('\n')
        line = strings.TrimSpace(line)
        res =append(res,line)
        //fmt.Println(line)
        if err != nil {
            if err == io.EOF {
                fmt.Println("File read ok!")
                break
            } else {
                fmt.Println("Read file error!", err)
                return
            }
        }
    }
    return res
}

func PathExists(path string) (bool, error) {
    _, err := os.Stat(path)
    if err == nil {
        return true, nil
    }
    if os.IsNotExist(err) {
        return false, nil
    }
    return false, err
}

func ScanFiles(fileDir string) []string {
    exist, err := PathExists(fileDir)
    if err != nil {
        fmt.Printf("get dir error![%v]\n", err)
    }
    var fileNameList []string
    if exist{
        files, _ := ioutil.ReadDir(fileDir) //读取目录
        for _, onefile := range files {     //遍历目录下文件
            if !onefile.IsDir() { //是文件
                fileName := onefile.Name()
                fileNameList = append(fileNameList, fileDir + fileName)
            }
        }
    }
    return fileNameList
}

func SaveFile(Name string,ID string, OD Eye, OS Eye){
    //这样可以追加写
    nfs, err := os.OpenFile("./OctopusData.csv", os.O_RDWR|os.O_CREATE, 0666)
    if err != nil {
        log.Fatalf("can not create file, err is %+v", err)
    }
    defer nfs.Close()
    nfs.Seek(0, io.SeekEnd)
 
    w := csv.NewWriter(nfs)
    //设置属性
    w.Comma = ','
    w.UseCRLF = true
    /*
    row := []string{"Name", "ID", "AL_OD", "AL_OS"}
    err = w.Write(row)
    if err != nil {
        log.Fatalf("can not write, err is %+v", err)
    }
    */
    //这里必须刷新，才能将数据写入文件。
    w.Flush()
    //一次写入多行
    var newContent [][]string
    Data :=[]string{Name,ID,OD.whichEye, OD.result,OS.whichEye,OS.result}

    newContent = append(newContent, Data)
    w.WriteAll(newContent)

}
func startServer() {

    // Print Go Version
    cmdOutput, err := exec.Command("cmd", "/c","java -jar tika-server-standard-2.3.0.jar").Output()
    if err != nil {
        log.Fatal(err)
    }

    fmt.Printf("%s", cmdOutput)
}

func runClient(path string) (OD Eye,OS Eye){
    /*
    cmd := exec.Command(`java -jar tika-server-standard-2.3.0.jar`)
    if runtime.GOOS == "windows" {
         cmd.SysProcAttr = &syscall.SysProcAttr{HideWindow: true}
    }
    err := cmd.Run()
    if err != nil {
        fmt.Println(err)
        return
    }
    */
    // Optionally pass a port as the second argument.
    f, err := os.Open(path)
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()

    //fmt.Println(f.Name())
    client := tika.NewClient(nil, "http://localhost:9998")
    body, err := client.Parse(context.Background(), f)
    if err != nil {
        fmt.Println(err)
    }
    //fmt.Println(body)
    result := strings.Split(HtmlParser(body),"\n")
    OD.whichEye,OS.whichEye = "右","左"
    OD.result,OS.result = result[0],result[1]
    return OD,OS
    /*
    file, err := os.Create("body.html")
    if err != nil {
        fmt.Println(err)
        return
    }
    defer file.Close()
    file.WriteString(body)
    */

}

func HtmlParser(html string)(result string){
      doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
      //fmt.Println(doc)
      if err != nil {
        log.Fatal(err)
      }
      // Find the review items
      doc.Find("div").Each(func(i int, selection *goquery.Selection) {
        text := selection.Find("p").Text()
        result =result + reg0.FindString(text) + " " + reg1.FindString(text) +  " " + reg2.FindString(text) +"\n"
      })
      fmt.Printf("%s", result)
      return result
}

func main(){
    go startServer()
    Names := ReadFile("./Names.txt")
    IDs := ReadFile("./IDs.txt")
    title := Eye{"眼别","result"}
    noData :=Eye{"",""}
    SaveFile("Name","ID",title,title)
    //fmt.Println(Names,IDs)
    //WhichEye :=ReadFile("./WhichEye.txt")
    time.Sleep(time.Second)
    for i,Name := range Names{
        if Name !=""{
            Dir:= "./Exams/"+ Name + IDs[i]+"/Octopus/"
            files:= ScanFiles(Dir)
            if l:=len(files); l!=0{
                OD,OS := runClient(files[l-1])
                SaveFile(Name,IDs[i],OD,OS)
            }else{
                SaveFile("","",noData,noData)
            }
        }else{
            SaveFile("","",noData,noData)
        }
    }
    
}

  2.2 CrackHumphrey.go

package main

import (
    "bufio"
    "io"
    "io/ioutil"
    "os/exec"
    "context"
    "fmt"
    "encoding/csv"
    "github.com/google/go-tika/tika"
    "github.com/PuerkitoBio/goquery"
    "strings"
    "regexp"
    "log"
    "os"
    "time"
)

var (
    reg0 = regexp.MustCompile(`GHT:.+`)
    reg1 = regexp.MustCompile(`VFI:.+`)
    reg2 = regexp.MustCompile(`MD30-2:.+`)
    reg3 = regexp.MustCompile(`PSD30-2:.+`)
)

type Eye struct {
    whichEye,result string
}

func ReadFile(fileName string) (res [] string) {
    file, err := os.OpenFile(fileName, os.O_RDWR, 0666)
    if err != nil {
        fmt.Println("Open file error!", err)
        return
    }
    defer file.Close()

    stat, err := file.Stat()
    if err != nil {
        panic(err)
    }

    var size = stat.Size()
    fmt.Println("file size=", size)

    buf := bufio.NewReader(file)
    for {
        line, err := buf.ReadString('\n')
        line = strings.TrimSpace(line)
        res =append(res,line)
        //fmt.Println(line)
        if err != nil {
            if err == io.EOF {
                fmt.Println("File read ok!")
                break
            } else {
                fmt.Println("Read file error!", err)
                return
            }
        }
    }
    return res
}
func PathExists(path string) (bool, error) {
    _, err := os.Stat(path)
    if err == nil {
        return true, nil
    }
    if os.IsNotExist(err) {
        return false, nil
    }
    return false, err
}

func ScanFiles(fileDir string) []string {
    exist, err := PathExists(fileDir)
    if err != nil {
        fmt.Printf("get dir error![%v]\n", err)
    }
    var fileNameList []string
    if exist{
        files, _ := ioutil.ReadDir(fileDir) //读取目录
        for _, onefile := range files {     //遍历目录下文件
            if !onefile.IsDir() { //是文件
                fileName := onefile.Name()
                fileNameList = append(fileNameList, fileDir + fileName)
            }
        }
    }
    return fileNameList
}

func SaveFile(Name string,ID string, OD Eye, OS Eye){
    //这样可以追加写
    nfs, err := os.OpenFile("./HumphreyData.csv", os.O_RDWR|os.O_CREATE, 0666)
    if err != nil {
        log.Fatalf("can not create file, err is %+v", err)
    }
    defer nfs.Close()
    nfs.Seek(0, io.SeekEnd)
 
    w := csv.NewWriter(nfs)
    //设置属性
    w.Comma = ','
    w.UseCRLF = true
    /*
    row := []string{"Name", "ID", "AL_OD", "AL_OS"}
    err = w.Write(row)
    if err != nil {
        log.Fatalf("can not write, err is %+v", err)
    }
    */
    //这里必须刷新，才能将数据写入文件。
    w.Flush()
    //一次写入多行
    var newContent [][]string
    Data :=[]string{Name,ID,OD.whichEye, OD.result,OS.whichEye,OS.result}

    newContent = append(newContent, Data)
    w.WriteAll(newContent)

}
func startServer() {

    // Print Go Version
    cmdOutput, err := exec.Command("cmd", "/c","java -jar tika-server-standard-2.3.0.jar").Output()
    if err != nil {
        log.Fatal(err)
    }

    fmt.Printf("%s", cmdOutput)
}


func runClient(path string) (OD Eye,OS Eye){
    /*
    cmd := exec.Command(`java -jar tika-server-standard-2.3.0.jar`)
    if runtime.GOOS == "windows" {
         cmd.SysProcAttr = &syscall.SysProcAttr{HideWindow: true}
    }
    err := cmd.Run()
    if err != nil {
        fmt.Println(err)
        return
    }
    */
    // Optionally pass a port as the second argument.
    f, err := os.Open(path)
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()

    //fmt.Println(f.Name())
    client := tika.NewClient(nil, "http://localhost:9998")
    body, err := client.Parse(context.Background(), f)
    if err != nil {
        fmt.Println(err)
    }
    //fmt.Println(body)
    result := strings.Split(HtmlParser(body),"\n")
    OD.whichEye,OS.whichEye = "右","左"
    OD.result,OS.result = result[1],result[0]
    return OD,OS
    /*
    file, err := os.Create("body.html")
    if err != nil {
        fmt.Println(err)
        return
    }
    defer file.Close()
    file.WriteString(body)
    */

}

func HtmlParser(html string)(result string){
      doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
      //fmt.Println(doc)
      if err != nil {
        log.Fatal(err)
      }
      // Find the review items
      doc.Find("div").Each(func(i int, selection *goquery.Selection) {
        text := selection.Find("p").Text()
        result =result + reg0.FindString(text) + " " + reg1.FindString(text) +  " " + reg2.FindString(text) +  " " + reg3.FindString(text) +"\n"
      })
      fmt.Printf("%s", result)
      return result
}


func main(){
    go startServer()
    Names := ReadFile("./Names.txt")
    IDs := ReadFile("./IDs.txt")
    title := Eye{"眼别","result"}
    noData :=Eye{"",""}
    SaveFile("Name","ID",title,title)
    //fmt.Println(Names,IDs)
    //WhichEye :=ReadFile("./WhichEye.txt")
    time.Sleep(time.Second)
    for i,Name := range Names{
        if Name !=""{
            Dir:= "./Exams/"+ Name + IDs[i]+"/Humphrey/"
            files:= ScanFiles(Dir)
            if l:=len(files); l !=0{
                OD,OS := runClient(files[l-1])
                SaveFile(Name,IDs[i],OD,OS)
            }else{
                SaveFile("","",noData,noData)
            }
        }else{
            SaveFile("","",noData,noData)
        }
    }
    
}

  用Markdown 5 记笔记、排版公众号以及写Blog真的是太方便了，文末推荐一波Markdown的软件：

  • Joplin 6 记笔记十分方便，支持各种平台并且可以同步数据
  • Onemark 7 Onenote的插件，重新定义了Onenote，让你在Onenote中也能用Markdown语法记笔记
  • Markdown Nice 8 不要被它看似不相关的网页吓唬到，它的产品包括网页版、Chrome插件版和桌面版程序（前两者免费，最后者则要加钱）。网页版注册即可免费使用，多种主题可选，排版完成后可以直接复制到微信公众号及知乎等平台，用Markdown排版微信公众号及知乎等推文十分漂亮。

3. 参考资料

  1. 由java写成的PDF文件解析包：https://tika.apache.org/download.html ↩︎

  2. Go语言用来与tika交互的程序包：https://github.com/google/go-tika ↩︎

  3. 参考CSDN配置Java环境 ↩︎

  4. 参考CSDN配置Go环境：https://golang.google.cn/doc/install?download=go1.12.6.windows-amd64.msi ↩︎

  5. Markdown是一种轻量级的标记语言，非常易学，几分钟就能学会基本操作。 ↩︎

  6. 下载链接：https://joplinapp.org/ ↩︎

  7. 下载链接：https://neuxlab.cn/ ↩︎

  8. 排版链接：https://editor.mdnice.com/ ↩︎

丘比特爱睡觉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
octopus9.2_packs.rar
03-02
Octopus 9.2 是一款强大的第一性原理计算软件，主要应用于量子力学和材料科学领域。这个名为"octopus9.2_packs.rar"的压缩包文件包含了进行Octopus计算所需的多个关键库文件，旨在为用户提供一个一站式解决方案，...
Automating .Net Deployments using TeamCity and Octopus
02-03
Automating .Net Deployments using TeamCity and Octopus 亚马逊 azw3格式， CI CD学习使用, 下载后请24小时内删除
知识分享之Golang——读取pdf中纯文本内容
CN華少的博客
01-04 2367
知识分享之Golang——读取pdf中纯文本内容 背景 知识分享之Golang篇是我在日常使用Golang时学习到的各种各样的知识的记录，将其整理出来以文章的形式分享给大家，来进行共同学习。欢迎大家进行持续关注。 知识分享系列目前包含Java、Golang、Linux、Docker等等。 开发环境 系统：windows10 语言：Golang 组件库：Bleve golang版本：1.17 组件...
Go语言读取PDF文件内容（io.Reader方式传参）
qq_67503717的博客
07-23 2157
Tika + go client 方案进行PDF解析，适用于前台用户点击上传情况。
在PDF中使用Paragraph进行文本段落的处理
m0_61496760的博客
05-16 272
java通过Paragraph在PDF中编辑文本以及设置样式
go读取pdf
weixin_38155824的博客
05-24 2155
选型 ledongthuc/pdf go语言实现的 pdf 解析库。有不少的 star 和 fork，并且从 demo 上看到确实能读取到内容。 apache/tika Java 实现的 pdf 解析库。之所以能进入决赛圈是因为网上大量人推荐并且是 apache的项目，所以我也比较放心使用。 但是，本人亲测读取一些非标准的pdf。ledongthuc/pdf会提示报错： malformed PDF: reading at offset 0: stream not present 所以，还是决定使用：a
探索 GitCode 上的 LEDongThuc PDF 项目：一个强大的 PDF 处理库
gitblog_00001的博客
04-27 406
探索 GitCode 上的 LEDongThuc PDF 项目：一个强大的 PDF 处理库 项目地址:https://gitcode.com/ledongthuc/pdf 在开发过程中，处理 PDF 文件是一项常见的任务，无论是阅读、编辑还是生成，都需要可靠的工具。今天我们要介绍的是 LEDongThuc/pdf —— 一个由 Vietnamese 开发者 Le Dong Thuc 创建的高性能 ...
3dMax章鱼插件Octopus
沐风老师
11-02 488
3dMax章鱼插件Octopus
Octopus Deploy云程序部署,真正正确地完成其工作
q2315702359的博客
06-14 1075
　　Octopus Deploy 为自动化部署提供了一种安全、可重复、可靠的方式。Octopus Deploy 旨在接管 CI(持续集成)服务器结束的位置，使您尽可能简单地自动化甚至非常复杂的本地和/或云程序部署。 　　Octopus Deploy 强大的功能： 　　首先，您应该了解，Octopus Deploy 与用于 .NET 和 Java 的两个基于云和本地的程序相得益彰。简而言之，如果您可以打包程序，八达通可以使用最少的麻烦来设置它。此外，必须指出的是 Octopus 与资源控制无关，并且包括与
Octopus-v2
whaosoft143ai的博客
04-07 547
基于此，Octopus-V2-2B 在训练和推理阶段引入了独特的函数 token 策略，不仅使其能够达到与 GPT-4 相当的性能水平，而且还显著提高了推理速度，超越了基于 RAG 的方法，这使得它对边缘计算设备特别有利。Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。
octopus
03-27
源是社区驱动的，可以在不更新应用程序的情况下进行更新和更改。 这允许滚动开发过程，在更改发生时实施更改，而不是等待应用程序开发人员实施新的源代码和错误修正。开发资源要了解有关开发源的更多信息，请查看...
BIGTREETECH Octopus 用户手册1
08-03
【BIGTREETECH Octopus 用户手册1】是深圳市必趣科技有限公司推出的3D...总之，BIGTREETECH Octopus主板是一款功能强大、易扩展且安全可靠的3D打印控制器，适合高级用户和开发者进行定制和升级，以满足各种3D打印需求。
octopus-开源
04-25
"Octopus 开源"是一个基于Java的网络数据包捕获和协议分析工具，它与以太网的工作原理相类似。这个工具的设计目的是为了帮助IT专业人员、网络安全分析师以及开发人员在进行网络监控、故障排查或者协议理解时提供便利...
使用golang进行PDF处理，go-tika。就是这个是个warp的封装的版本。ledongthuc/pdf 的开源项目，速度快，解析中文也非常好。可以解析出简历PDF内容
freewebsys的专栏
12-11 3840
目录前言1，关于go-tika2，使用3，总结 前言 本文的原文连接是: https://blog.csdn.net/freewebsys/article/details/111028683 未经博主允许不得转载。 博主地址是：http://blog.csdn.net/freewebsys 1，关于go-tika https://pkg.go.dev/github.com/google/go-tika/tika 项目地址： https://github.com/google/go-tika apache
Golang 泛型详解
最新发布
07-25 398
/ 自定义一个新类型 MapTT：类型形参。定义 MapT 时 T 代表的类型并不确定，类似一个占位符。：类型约束。指定 T 仅可接受哪些类型。中括号内定义形参类型，称为形参类型列表。其中，类型约束可以包上 interface{}m[T] = valreturn m// 或简写为type T interface{int|int32|float32|string} // 自定义类型约束。
go--本地下载包
weixin_63566388的博客
07-23 448
下载完成后，你可以验证包是否已正确下载。下载并安装适合你操作系统的版本。：确保已经安装 Go。
Octopus大数据系统：黄宜华教授的R语言跨平台机器学习解析
Octopus（大章鱼）是针对大数据时代需求而构建的一个集成化、高效的分析工具，它结合了R语言的便利性和大数据处理的高性能要求，为数据科学家提供了更强大的数据分析能力，尤其是在机器学习领域，使得在大数据环境下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值