基于Scala与正则表达式的Html文本分析应用

最新推荐文章于 2024-06-26 11:22:52 发布
最新推荐文章于 2024-06-26 11:22:52 发布
阅读量2.3k 收藏 1
点赞数 2
分类专栏： 文本处理 scala


文本分析与提取：scala正则
持久化：anorm

web:play 2

scala 正则关键代码示例：


    val regex1="(?<=<title>)(.*?)(?=</title>)".r
 
     val html_node= regex1.findFirstIn( htmlContent)

    

package service.spider.htmlparser

import scala.collection.mutable.{ListBuffer, ArrayBuffer}


 object HtmlDocParser {

   //title parse
    def parsehtmlTitle(htmlContent:String): String ={
     //标题查找正则表达式
     val regex1="(?<=<title>)(.*?)(?=</title>)".r
     //匹配一次
     val html_node= regex1.findFirstIn( htmlContent)

     println(html_node)
     html_node.toString
   }

  def parsehtmlKeyWord(htmlContent:String): String ={
    //标题查找正则表达式
    val regex1="(?<=keyword=\")(.*?)(?=\")".r
    //匹配一次
    val html_node= regex1.findFirstIn( htmlContent)

    println(html_node)
    html_node.toString
  }

  def parsehtmlDescription(htmlContent:String): String ={
    //标题查找正则表达式
    val regex1="(?<=description=\")(.*?)(?=\")".r
    //匹配一次
    val html_node= regex1.findFirstIn( htmlContent)

    println(html_node)
    html_node.toString
  }

   //body parse

  def parsehtmlBody(htmlContent:String): String ={
    //标题查找正则表达式
    val regex1="(?<=<body>)(.*?)(?=</body>)".r
    //匹配一次
    val html_node= regex1.findFirstIn( htmlContent)

    println(html_node)
    html_node.toString
  }

   //img parse
   def parseImages(htmlContent:String): String ={
     //标题查找正则表达式
     val regex1="(?<=img src=\")(.*?)(?=\")".r
     //匹配一次
     val html_node= regex1.findFirstIn( htmlContent)

     println(html_node)
     html_node.toString
   }
   //js parse

   //import js parse

   //import css parse

   //css parse

   //code block parse

   //link parse
   def parseLinkList(htmlContent:String): String ={
     //标题查找正则表达式
     val regex1="(?<=href=\")(.*?)(?=\")".r
     //匹配一次
     val html_node= regex1.findFirstIn( htmlContent)

     println(html_node)
     html_node.toString
   }

  //code block

  def getCodeBlock(start:String ,end:String,htmlContent:String):List[String]={

    //var list=List[String]()
    var list=ListBuffer[String]()
    val regex1=("(?s)(?<="+start+")(.*?)(?="+end+")").r

     val h2=htmlContent.replaceAll("\n\r","")
      var i:Int=0
    val html_nodeList= regex1.findAllMatchIn(h2)
    for(matchstr <- html_nodeList){
      i+=1
      println("getCodeBlock "+" c:"+i+ " match g:"+matchstr.groupCount )//+ ""+matchstr.group(0))
    // println("##########\n"+s)
      list.append(matchstr.toString())
      //s::list
    }

    //转不可变集合
    list.toList
  }

   //ul list parse

   //flash parse

   //video parse

   //data parse

   //email parse

   //mobile parse
  //tel parse

 }
 
 
 网页分析示例：
 
 package service.spider.entryParser.alibaba

/**
 * 列表页数据分析
 * 通过 scala 正则表达式分析Html文本
 * 分析结果通过RestFull Api 传递给客户端APP
 *
 * Created by Administrator on 15-11-18.
 */

import service.spider.HtmlDocLoader

import service.spider.htmlparser.HtmlDocParser

import scala.collection.mutable
import scala.collection.mutable.{ListBuffer, HashMap}

object AliAdListPageSpiderParser {

    val urlpath:String=""


    def docLisPageContentLoad(url:String):String={
      //获取Html文档内容
      val htm=HtmlDocLoader

      var htmlContent=htm.getPageByURLConnetion(url,"GBK")

     // println(htmlContent)

      //提取其它数据
      htmlContent
    }


  //list page info
  def listPageInfoParse(htmlContent:String): Map[String,String] ={
    //通过正则表达式提取广告
    //创建Html文档分析器
    val htmlParse=HtmlDocParser
    //提取数据测试
    val html_title=htmlParse.parsehtmlTitle(htmlContent)

    //html keyword

    //html description

    //body
    //cn text

     var listpageinfoMap=Map[String,String]()
   // listpageinfoMap.put("html_title" , html_title)
   // listpageinfoMap.put("html_content",htmlContent.asInstanceOf[String])

   // listpageinfoMap += ("html_title" -> html_title)
   // listpageinfoMap += ("html_content".toString -> htmlContent.toString)
    listpageinfoMap
  }


  def adLinkParse(htmlContent:String):List[Map[String,String]]={
    //List[String]
    val adlisgPageCodeBlock= getAdCodeBlockList(htmlContent)

    val cmpInfoList= getCompanyInfoByCodeBlockList(adlisgPageCodeBlock)
    println("##############parse result###########")
        for(mapad <-cmpInfoList){

          println(mapad("cmpLink"))
        }
    cmpInfoList
  }

  //通过代码块提取公司链接信息列表

  def getCompanyInfoByCodeBlockList(cbList:List[String]):List[Map[String,String]]={

      val cmp_link_list=mutable.ListBuffer[Map[String,String]]()
      for(codeblock <- cbList){

       val cmp_info_map= parseCompany(codeblock)

        //cmp_info_map::cmp_link_list

        if(cmp_info_map.size>0){
          cmp_link_list.append(cmp_info_map)
        }


      }

    cmp_link_list.toList
  }


  //cmp info parse

  def parseCompany(codeblock:String): Map[String,String] ={
    println("Ali Company Info parse:")
    // is cyt

   val isadcmp=isadCmpinfo(codeblock)

    var entryMap=Map[String,String]()

    println ("is cyt cmp:"+isadcmp )

      if(isadcmp==true){
        //test link
        val adlinkcode=parseadlinkCode(codeblock)
        println("cmp link  code "+adlinkcode.length)
        //cmp link
        val cmp_link=parseAdLink(adlinkcode)

        println("cmp link parse:"+cmp_link.length)
        //cmp name
        val cmp_name=parseadcmpName(adlinkcode)

        println("cmp name psrse:"+cmp_name.length)
      //  entryMap.
       entryMap +=("cmpLink" -> cmp_link)
        entryMap +=("cmpName" -> cmp_name)
      }else{

        println("is`nt ad info")
      }

    println("result :"+entryMap("cmpLink"))

    entryMap
  }


  def getAdCodeBlockList(htmlContent:String):List[String]={

    val htmlParse=HtmlDocParser
      val start="<div class=\"wrap\">"
    val end="<div class=\"bg\"></div>"

    val list=htmlParse.getCodeBlock(start ,end,htmlContent)

      list
    }


  //parse cmp

  def isadCmpinfo(codeBlock:String): Boolean ={
    //class="icons-identification sw-ui-icon-cxt16x16" is cyt
    //icons-identification sw-ui-icon-cxt16x16
    //icons-identification sw-ui-icon-cxt16x16
      val cyt_preffix="icons-identification"

      var bok=false
     // println(codeBlock)
       var pos=  codeBlock.indexOf(cyt_preffix)
         println("user is cyt:"+codeBlock.indexOf(cyt_preffix))
        if(pos == -1){
        }else{
          bok=true
        }

    bok
  }


  /*
  parse ad link

  <a class="list-item-title-text" offer-id="offer31"  rel="nofollow" offerId="" offer-stat="com" title="衡水滨湖新区圣康医疗器械厂" target="_blank" href="http://hbshengkang.1688.com" gotodetail="2" >衡水滨湖新区圣康<font color=red>医疗器械</font>厂</a>
   */


    def parseadlinkCode(codeBlock:String ):String={


     // val regex="<a class=\"list-item-title-text\" offer-id=\"offer31\"  rel=\"nofollow\" offerId=\"\" offer-stat=\"com\" title=\".*?\" target=\"_blank\" href=(.*?).*gotodetail=\"2\"".r
     val regex="<a class=\"list-item-title-text\" .*?title=\".*?\" target=\"_blank\" href=(.*?).*gotodetail=\"2\"".r

       val s= regex.findFirstIn(codeBlock)
   //   println(s)
     s.toString
    }

  def parseAdLink(codeBlock:String ):String={
    val regex="(?<=href=\")(.*?)(?=\")".r

    val s= regex.findFirstIn(codeBlock)
    //println(s)

    var link_str:String=""
    s match{
      case Some(x) => {
        println(x)
        link_str=x
      }
      case None => println ("no link")
    }
    link_str
  }



  def parseadcmpName(codeBlock:String ):String={
    val regex="(?<=title=\")(.*?)(?=\")".r

    val s= regex.findFirstIn(codeBlock)
    println(s)
    s.toString
  }

  //

  def main(args: Array[String]) {

      val adparser=AliAdListPageSpiderParser
      adparser.docLisPageContentLoad("http://www.sina.com.cn)
  }


}

分析结果的持久化

基于play anrom 开发分析结果的入库处理，示例代码如：

package models

import anorm._

import play.api.db.DB

import scala.collection.JavaConverters._
import scala.collection.immutable.List
import java.util.Date


import play.api.Play.current
/*

db lib: anorm


 */


object AdSpiderInfoDao{

    def save(entry: AdSpiderInfo): Unit ={


    }

  def show= {

    val conn = DB.getConnection()

    println("dbName:" + conn.getCatalog)
    //val result: Boolean = SQL("Select count(*) from  ad_spider_info").execute()


  }

  def count= {
    var countvl:Long =0
    DB.withConnection { implicit c  =>


      val firstRow = SQL("Select count(*) as c from ad_spider_info").apply().head
      val countryCount = firstRow[Long]("c")
      // println("count:" + countryCount)
      countvl=countryCount
    }
    countvl
  }

    //add data
  //test : ok
    def add(e:AdSpiderInfo):Boolean = {

      DB.withConnection {implicit c  =>

      
        val rs= SQL(
      """insert into
     ad_spider_info(urlPath, comForm,addTime,updateTime)
     values ({urlPath}, {comForm} ,{addTime},{updateTime})
      """)
     .on(
       "urlPath"->e.urlPath,
       "comForm"->e.comForm,
      //
       "addTime"->e.addTime,
      //
       //
       "updateTime"->None
     )
        .executeInsert()
        rs ==1
    }

    }

  def update(e:AdSpiderInfo):Boolean = {

    DB.withConnection {implicit c  =>


      val rs= SQL(
        """update
     ad_spider_info set urlPath={urlPath}, comFrome={comFrome},addTime={addTime},updateTime={updateTime} where infoid={infoid}
        """)
        .on(
          "urlPath"->e.urlPath,
          "comFrome"->e.comForm,
          "addTime"->e.addTime,
          "updateTime"->e.updateTime,
          "id"->e.infoid
        )
      .executeUpdate()
      rs == 1
    }

  }



  def delete(infoid:Long):Boolean = {

    DB.withConnection {implicit c  =>


      val rs= SQL(
        """delete from  ad_spider_info where infoid={infoid}
        """)
        .on(

          "id"->infoid
        )
       .executeUpdate()
      rs == 0
    }

  }

  /*
*/
  //query ad
  def getAdById(infoid: Long): AdSpiderInfoView = {

    var adSpiderInfo:AdSpiderInfoView=null

      DB.withConnection { implicit conn =>


      val sql: SqlQuery = SQL("Select * from  ad_spider_info where infoid={infoid} order by infoid desc")

          sql .on( "infoid"-> infoid)

//var infoid :Long, var urlPath:String,
//var addTime:Date,var visitSalerId:Long, var visitSaler:String,  var comForm:String, var updateTime:Date
     val list:List[AdSpiderInfoView]= sql().map(row =>
  AdSpiderInfoView(row[Long]("infoid"), row[String]("urlPath")
          ,row[Long]("visitSalerId"),
            row[String]("visitSaler"),row[String]("comForm"),row[Date]("updateTime"), row[Date]("addTime"))
        ).toList

      adSpiderInfo=   list.head
    }

    adSpiderInfo
  }


  def getAdByUrlPath(urlpath : String): Option[AdSpiderInfoView] = {

    var adSpiderInfo:Option[AdSpiderInfoView]=null

    DB.withConnection { implicit conn =>


      val sql = SQL("Select * from  ad_spider_info where urlPath = {urlpath} order by infoid desc")

      .on( "urlpath" ->  urlpath)
      //var infoid :Long, var urlPath:String,
      //var addTime:Date,var visitSalerId:Long, var visitSaler:String,  var comForm:String, var updateTime:Date


      val list:List[AdSpiderInfoView]= sql()

        .map(row =>
        AdSpiderInfoView(row[Long]("infoid"), row[String]("urlPath")
          ,row[Long]("visitSalerId"),
          row[String]("visitSaler"),row[String]("comForm"),row[Date]("updateTime"), row[Date]("addTime"))
      )

        .toList


          println(list.lastOption)

      adSpiderInfo=   list.lastOption
    }

    adSpiderInfo
  }
  //ad list page index

    def getListByPageIndex(index:Int, pageCount:Int,comForm:String): List[AdSpiderInfoView] ={

      val start:Int=(index-1)*pageCount

      var adSpiderInfolist: List[AdSpiderInfoView]=null

      DB.withConnection { implicit c =>


        val sql: SimpleSql[Row] = SQL("Select  * from  ad_spider_info  limit {start}, {pageCount} where comForm={comForm}")
        .on(
          "start"->start,
          "pageCount"->pageCount,
         "comForm"->comForm

        )
        //var infoid :Long, var urlPath:String,
        //var addTime:Date,var visitSalerId:Long, var visitSaler:String,  var comForm:String, var updateTime:Date
        val list:List[AdSpiderInfoView]= sql().map(row =>
          AdSpiderInfoView(row[Long]("infoid"), row[String]("urlPath")
            ,row[Long]("visitSalerId"),
            row[String]("visitSaler"),row[String]("comForm"), row[Date]("addTime"),row[Date]("updateTime"))
        ).toList

        adSpiderInfolist=   list
      }

      adSpiderInfolist
    }


  def getListAll(): List[AdSpiderInfoView]= {

    var adSpiderInfolist: List[AdSpiderInfoView]=null

    DB.withConnection { implicit c =>

      val sql: SqlQuery = SQL("Select  * from  ad_spider_info  order by infoid desc")

      //var infoid :Long, var urlPath:String,
      //var addTime:Date,var visitSalerId:Long, var visitSaler:String,  var comForm:String, var updateTime:Date
      val list: List[AdSpiderInfoView] = sql().map(row =>
        AdSpiderInfoView(row[Long]("infoid"), row[String]("urlPath")
          , row[Long]("visitSalerId"),
          row[String]("visitSaler"), row[String]("comForm"), row[Date]("addTime"), row[Date]("updateTime"))
      ).toList

      adSpiderInfolist = list
    }
      adSpiderInfolist
  }


  def  main (argvs:Array [String]){
     var  ifo=new AdSpiderInfo()
    ifo.urlPath="http://aabbcc.com/test.html"

    ifo.comForm="ali"

    this.add(ifo)

    println("aabbcc")
  }
}

w_j_w2010
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ScalaScraper一个Scala库用于HTML页面抽取内容
08-06
Scala Scraper：一个 Scala 库用于HTML页面抽取内容
scala-scraper：一个Scala库，用于从HTML页面抓取内容
02-05
scala-scraper：一个Scala库，用于从HTML页面抓取内容
正则表达式阅读理解
最新发布
weixin_51883798的博客
06-26 459
3.(max|min)\\s ： 匹配max或者min，然后匹配任意一个空白字符。6.[a-zA-Z][a-zA-Z0-9]* ：第一个字符：a-z或A-Z之间。4.(max|min)\\s* ： ... 匹配0个或1个或多个空白字符。后面匹配0或1个或多个字符，字符可以是a-z或A-z或0-9间的字符.5.[a-zA-Z] : 匹配1个字符，a-z或A-Z中的字符。将下一个字符标记为一个特殊字符，或一个原义字符。后面任意个字符(0,1,2,,,,)：不可以是')''n':匹配字符"n"
scala html 格式化,在scala模板中解码html
weixin_39569076的博客
06-07 235
我试图制作一个基于路由行为不同的标签，但是当我尝试在@{ ... }块内呈现html时，我似乎无法正确插入我的变量。在scala模板中解码html@(route: String, on_image: String, off_image: String, alt_text: String)@{val Pattern = ("(" + route + ".*)").rval path = reques...
html文件解析
JAVA & HTML
03-01 471
html文件解析环境搭建代码实现 环境搭建 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId&g...
scala html 格式化,在Scala.html模板
weixin_31598511的博客
06-07 259
我正在学习Play Framework 2.6，我想问你如何正确使用Form并在我的模板中访问这些数据。我对文档不是很聪明。在Controller中，我将其发送到模板：Form loginForm = formFactory.form(LoginForm.class).bindFromRequest();if (loginForm.hasErrors()) {return ok(userLogin...
reb4s:Scala 的正则表达式生成器
05-29
关于 reb4s reb4s的目的是围绕 JRE 的类提供的正则表达式语法提供一个纯 Scala 包装器。 它是一个分支，它通过纯 Java API 提供相同的功能。 与直接编写正则表达式相比，reb4s具有以下优点： reb4s API 保证正确的...
详解Java中的scala正则表达式
08-25
在Java中使用Scala进行正则表达式操作时，主要依赖于`scala.util.matching`包中的`Regex`类。这个类提供了丰富的功能，允许我们进行复杂的文本匹配和处理。下面我们将详细探讨Scala正则表达式的相关知识。 首先，...
Scala的文件读写操作与正则表达式
08-26
Scala文件读写操作与正则表达式 Scala语言提供了多种文件读写操作的方式，包括读取文本文件、读取二进制文件等。在Scala中，可以使用scala.io.Source对象来读取文件，该对象提供了多种方法来读取文件，例如getLines...
scala正则表达式与模式匹配.doc
10-09
Scala 正则表达式与模式匹配 Scala 正则表达式是 Scala 语言中的一种强大工具，用于模式匹配和字符串处理。在 Scala 中，正则表达式可以通过两种方式创建：通过 `r` 方法直接将字符串转换成正则表达式对象，或者...
Scala 正则表达式
01-03
Scala 正则表达式 Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式。以下实例演示了使用正则表达式查找单词 Scala : import scala.util.matching.Regex object Test { def main(args: Array...
readability4s:Scala库从文章HTML中提取相关内容
05-12
可读性 一个Scala库，用于从文章HTML中提取内容：标题，全文，网站图标，图像等。 该项目是Mozilla的的Scala端口，并进行了一些调整和改进。 Scala版本是2.12。 用法 使用Maven导入项目，如下所示： < dependency> < groupId>com.github.ghostdogpr</ groupId> < artifactId>readability4s</ artifactId> < version>1.0.9</ version> </ dependency> 要解析文档，必须从URI字符串和HTML字符串创建一个新的Readability对象，然后调用parse() 。 这是一个例子： val article = Readability (url, htmlString).parse() 它返回一个Option
用正则将html中的url提取,使用正则表达式从HTML中提取文本和链接
weixin_33404438的博客
05-30 491
暂时编码< a href ...> …< / a>进入别的东西,删除所有其他标签然后恢复< a>标签：// Example in javascript:string.replace(//g,'\0$1\0').replace(//,'\1').replace(/]*>/,'').replace(/\0(.*?)\0/,'').replace(/\1/,''...
Scala详细文本教学02
啊晨
02-11 431
文章目录前言一、数组1、定长数组和变长数组2、遍历数组3、数组转换4、数组常用算法二、元组1、创建元组2、获取元组中的值3、元组的遍历4、将对偶的集合转换成映射5、拉链操作三、集合1、序列2、Set3、Map4、队列 Queue四、映射1、构建映射2、获取和修改映射中的值五、常用函数1、map flatmap：2、化简、折叠3、扫描4、迭代器未完。。 前言 你们好我是啊晨 首先呢，内容很多，分为几...
基于Source和正则表达式的Scala网页内容抓取
w_j_w2010的博客
12-11 624
网页内容的抓取使用了Scala标准库的Source，网页内容的提取使用了正则表达式。中间练习了集合类的一些操作和文件读写操作，对正则表达式也重温了一下，特别是跨行匹配（多行匹配）研究了一些时间。提取后的文本写在了文件中。在Ubuntu 10.04 和 Scala 2.10.0 下运行成功。 代码如下： import java.io._   def getIndex() = {  
HTML解析器
chs_jdmdr的专栏
03-16 657
jsoup 1.5.1 发布，超棒的HTML解析器 作者: Claymore　时间: 2011-02-20 20:36:31 Arial Tahoma Verdana 宋体 楷体  字体减小 字体加大       该版本增加单个 pass 选择器用于所有复杂查询，另外使用 CSS 选择器从 DOM 中提取元素的性能得到显著的提升，修复了 Scala 支持的bug，提供新的 HTM
scala 模式匹配支持正则吗_关于正则表达式：如何在Scala中使用正则表达式进行模式匹配？...
weixin_39914243的博客
12-18 177
我希望能够找到一个单词的第一个字母与组中的一个字母(例如" ABC")之间的匹配。 在伪代码中，这可能类似于：case Process(word) =>word.firstLetter match {case([a-c][A-C]) =>case _ =>}}但是，如何在Scala中而不是Java中获取第一个字母？ 如何正确表达正则表达式？ 是否可以在案例类中执行此操作？请注意：...
去除html标签 scala,在Scala中将html转换为xhtml（有效的xml）
weixin_29250573的博客
06-22 180
我试图在Scala中加载有效的html进行处理。看起来像转换到XML将是一个很好的起点。它看起来像很不错的代码在有点争议的scala.xml.Xhtml Scala core library这样做。基本上它应该包含“固定”标签，这些标签在html中是有效的，但不是有效的xml，因此防止文档成为有效的xhtml，并且只是更多。下面是从那里代码：在Scala中将html转换为xhtml(有效的xml)...
jsoup解析HTML用法小结
Yoga-jiang
03-11 963
使用HttpClient+jsoup做采集器有一段时间了，发现jsoup很好用，而且还有很多方便的东西都没怎么用上。于是想根据官网上的cookbook来对jsoup的使用做个小结，或者是归纳。按功能分类做个列表，方便在写程序的时候快速翻阅。 1、jsoup的HTML文档（Document）对象模型 Document对象由Element和TextNode对象组成继承链 Document
scala正则表达式
09-03
Scala通过scala.util.matching包中的Regex类来支持正则表达式。 Scala的正则表达式可以用于匹配和提取字符串中的模式。它使用了一种类似于Java的正则表达式语法，但也有一些Scala特有的功能。Scala的正则表达式可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值