用Spark rdd进行针对性权重的分析

最新推荐文章于 2023-10-19 17:12:42 发布

淅淅沥沥的熙

最新推荐文章于 2023-10-19 17:12:42 发布

阅读量548

点赞数

分类专栏：大数据分析文章标签： spark scala nlpir 智能匹配

本文链接：https://blog.csdn.net/qq_38440882/article/details/80951799

版权

本文介绍了使用Spark的RDD进行信息匹配，特别是在考虑权重的情况下。通过读取Hbase中的企业招聘信息，利用Scala编写Spark程序，结合NLPIR自然语言处理接口对工作名称进行分词，筛选出与用户期望匹配的工作，并进行权重加一操作。整个流程以图解和代码的形式详细阐述。

摘要由CSDN通过智能技术生成

在信息匹配的环节，有根据权重进行匹配的需求。用户输入的字段有:

(job_name(期望工作),city(期望工作城市),sala(期望工作薪水),self_jy(个人经验),self_xl(个人学历))

我们希望通过以上条件实现智能化的匹配。具体思路如下：

在spark分析程序中将读取Hbase中企业招聘信息到RDD中，利用RDD的一系列算子实现最终的智能匹配，在对工作名的分析中，调用了nlpir自然语义处理平台接口，对工作名进行分词后筛选出包含所有分词的工作并进行权值加一的操作。对于整个流程如下（利用scala语言进行spark程序的编写）：

图1 匹配总流程图

总体代码如下：

package ReadHBase

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
object PP {
  //个性化匹配

  def main(job_name:String,city:String,sala:Int,self_jy:String,self_xl:String): Unit = {

    val sparkConf = new SparkConf().setAppName("ZNPP").setMaster("local")
    val sc = new SparkContext(sparkConf)
    val sqlContext = new SQLContext(sc)
    val tablename = "bigdata1"
    val conf = HBaseConfiguration.create()
    //设置zooKeeper集群地址，也可以通过将hbase-site.xml导入classpath，但是建议在程序里这样设置
    conf.set("hbase.zookeeper.quorum", "master")
    //设置zookeeper连接端口，默认2181
    conf.set("hbase.zookeeper.property.clientPort", "2181")
    conf.set(TableInputFormat.INPUT_TABLE, tablename)

    val hBaseConf1 = HBaseConfiguration.create()
    hBaseConf1.set(TableInputFormat.INPUT_TABLE, "bigdata1")

    //读取数据并转化成rdd
    val hBaseRDD1 = sc.newAPIHadoopRDD(hBaseConf1, classOf[TableInpu