Qt 5 爬取并计算两个Web网页的内容相似度(信息内容安全课设)

已于 2023-06-05 09:12:34 修改
阅读量1.3k 收藏 12
点赞数
分类专栏： Qt 文章标签： qt 前端 开发语言
于 2020-06-28 10:36:26 首次发布
我是Alsn,那半个橘子是海上遇到大雨时侯的明亮橘色灯塔!
本文链接：https://blog.csdn.net/Alsn86/article/details/106992966
版权

课设要求

在这里插入图片描述

项目构成

在这里插入图片描述

实现思路

下述方案针对的是英文文章

  1. 爬取两个页面的 Html 源代码
  2. 利用正则表达式从 Html 源代码中提取出文章的正文部分
  3. 分词
    (1) 把正文中的标点符号都替换为空格 (只留下英文字母和空格),把文章字符都转为小写字母(这样在后续计算内容相似度时可以把my My归为一类,提高结果准确度)
    (2) 使用正则表达式和之前设计好的空格利用[a-zA-Z]{1,20},将每篇文章的单词都匹配出来,形成两个数组 A 和 B(都不需要进行去重),A和B分别保存文章 1 的所有单词和文章 2 的所有单词.
    (3) 用一个链表将 A 和 B 的内容串起来，并对进行链表去重(此时链表保存的内容就是AUB),去重后链表的长度就是计算余弦相似度时两个文章对应的向量的维数
    (4) 给两篇文章都各自分配一个*步骤(3)*生成的链表,为生成各自的tf和cos向量做准备
    (4) 得出两篇文章各自对应的向量 a,向量 b,两向量维数相同,不存在的分量记为 0
    (5) 计算 a,b 的余弦相似度

方案示例
在这里插入图片描述

程序运行

使用的测试文章网址:
文章1
文章2

在这里插入图片描述
在这里插入图片描述

如果两篇文章相同 那么余弦相似度就是1
在这里插入图片描述
思考

项目名取的不够准确(取名时候没注意),叫作tfcos更合适

还可以改进的地方:
比如 tree-trees怎么才能归为一项,
live-lived怎么归为一项
try-tried怎么归为一项

源代码

testTFIDF.pro

#-------------------------------------------------
#
# Project created by QtCreator 2020-04-08T15:32:18
#
#-------------------------------------------------

QT       += core gui
QT       += core gui network

greaterThan(QT_MAJOR_VERSION, 4): QT += widgets

TARGET = untitled4
TEMPLATE = app

# The following define makes your compiler emit warnings if you use
# any feature of Qt which as been marked as deprecated (the exact warnings
# depend on your compiler). Please consult the documentation of the
# deprecated API in order to know how to port your code away from it.
DEFINES += QT_DEPRECATED_WARNINGS

# You can also make your code fail to compile if you use deprecated APIs.
# In order to do so, uncomment the following line.
# You can also select to disable deprecated APIs only up to a certain version of Qt.
#DEFINES += QT_DISABLE_DEPRECATED_BEFORE=0x060000    # disables all the APIs deprecated before Qt 6.0.0


SOURCES += \
        main.cpp \
        mainwindow.cpp \
    robotsandre.cpp \
    tfwithcos.cpp

HEADERS += \
        mainwindow.h \
    robotsandre.h \
    tfwithcos.h

FORMS += \
        mainwindow.ui

RESOURCES += \
    tupian.qrc


**mainwindow.h**

```cpp
#ifndef MAINWINDOW_H
#define MAINWINDOW_H

#include <QMainWindow>
#include "tfwithcos.h"
#include "ui_mainwindow.h"
#include "robotsandre.h"

namespace Ui {
class MainWindow;
}

class MainWindow : public QMainWindow
{
    Q_OBJECT

public:
    explicit MainWindow(QWidget *parent =  0);
    //根据输入的两个url爬虫获取两个页面,并且把特殊符号全部换成空格串
    bool GetTwopages();
    //把提取到的两篇文章(已经在GetTwopages把单词用空格隔开了)利用正则提取出每一个单词
    bool TFwithCOS();
    QString *TEXToneArray;//把两篇文章分词后保存在这里面
    QString *TEXTtwoArray;
    int TextOneWordNum;//两篇文章的单词数
    int TextTwoWordNum;
    Node *LinkOfpageOne;
    Node *LinkOfpageTwo;
    int LinklistLength;
    double *cosoneArray;
    double *costwoArray;
    ~MainWindow();

private slots:
    void on_btn_Start_clicked();

private:
    Ui::MainWindow *ui;
};

#endif // MAINWINDOW_H



**robotsandre.h**

```cpp
#ifndef ROBOTSANDRE_H
#define ROBOTSANDRE_H

#endif // ROBOTSANDRE_H

#include<QCoreApplication>
#include<QRegularExpression>
#include<QRegularExpressionMatch>
#include<QRegularExpressionMatchIterator>
#include<QString>
#include<QDebug>
#include <QCoreApplication>
#include<QtCore>
#include<QNetworkAccessManager>
#include<QUrl>
#include<QNetworkRequest>
#include<QNetworkReply>
#include<QObject>


QString Robots(QString url);//爬取页面
QString RegularExpression(QString HTML,QString re);//正则提取爬到的页面

robotsandre.h

#ifndef ROBOTSANDRE_H
#define ROBOTSANDRE_H

#endif // ROBOTSANDRE_H

#include<QCoreApplication>
#include<QRegularExpression>
#include<QRegularExpressionMatch>
#include<QRegularExpressionMatchIterator>
#include<QString>
#include<QDebug>
#include <QCoreApplication>
#include<QtCore>
#include<QNetworkAccessManager>
#include<QUrl>
#include<QNetworkRequest>
#include<QNetworkReply>
#include<QObject>


QString Robots(QString url);//爬取页面
QString RegularExpression(QString HTML,QString re);//正则提取爬到的页面

tfwithcos.h

#ifndef TFWITHCOS_H
#define TFWITHCOS_H

#endif // TFWITHCOS_H

#include<QCoreApplication>
#include<QRegularExpression>
#include<QRegularExpressionMatch>
#include<QRegularExpressionMatchIterator>
#include<QString>
#include<QDebug>
#include <QCoreApplication>
#include<QtCore>
#include<QUrl>
#include<QObject>


struct Node
{
    QString _word;
    float _num;
    Node *_next;
    Node()
    {
       _num=0;
       _next=nullptr;
    }
    Node(QString word)
    {
        _word=word;
       _num=0;
       _next=nullptr;
    }
};


//把两篇文章生成两个数组
void RaiseTwoArray(QString * &TEXToneArray,QString * &TEXTtwoArray,int &TextOneWordNum,int &TextTwoWordNum,QString TEXTone,QString TEXTtwo);
void AddAtTail(Node * Head,QString word);//链表结尾添加节点
void ShowLinkList(Node* Head);//显示链表
//把刚刚生成的两个数组合并成一个链表,并且在合并的过程中顺带进行链表去重
Node* CombineTwoArrayToALinkList(QString * TEXToneArray,QString * TEXTtwoArray,int TextOneWordNum,int TextTwoWordNum,int &LinkListLength);
void fillLinkList(Node *LinkListOfpage,QString *TEXTArray,int TextWordNum);
QString showtf(Node *Head,int Length);//生成一篇文章tf的结果


//计算余弦相似度的部分
double cal(int N,double *oneArray,double *twoArray);//计算余弦相似度

main.cpp

#include "mainwindow.h"
#include <QApplication>

int main(int argc, char *argv[])
{
    QApplication a(argc, argv);
    MainWindow w;
    w.show();

    return a.exec();
}

mainwindow.cpp

#include "mainwindow.h"


MainWindow::MainWindow(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::MainWindow)
{
    ui->setupUi(this);
}

MainWindow::~MainWindow()
{
    delete [] this->TEXToneArray;
        delete [] this->TEXTtwoArray;
        delete [] this->cosoneArray;
        delete [] this->costwoArray;
        Node* q=this->LinkOfpageOne->_next;
        while(q!=nullptr)
        {
            this->LinkOfpageOne->_next=q->_next;
            delete q;
            q=this->LinkOfpageOne->_next;
        }delete this->LinkOfpageOne;


        Node* q2=this->LinkOfpageTwo->_next;
        while(q2!=nullptr)
        {
            this->LinkOfpageTwo->_next=q2->_next;
            delete q2;
            q2=this->LinkOfpageTwo->_next;
        }delete this->LinkOfpageTwo;

        delete ui;
}

void MainWindow::on_btn_Start_clicked()
{
   //爬虫部分
   GetTwopages();//根据输入的两个url爬虫获取两个页面,并且把特殊符号全部换成空格串
   //计算TF的部分
   QString TEXTone=ui->plainTxt_result->toPlainText();
   QString TEXTtwo=ui->plainTxt_result_2->toPlainText();

   //把两篇文章分别生成两个数组,就分词就好
   RaiseTwoArray(this->TEXToneArray,this->TEXTtwoArray,this->TextOneWordNum,this->TextTwoWordNum,TEXTone,TEXTtwo);
   //转换为小写,这样可以把类似It,it,My,my统一。
   for(int i=0;i<this->TextOneWordNum;i++)
   {
       TEXToneArray[i]=TEXToneArray[i].toLower();
   }

   for(int i=0;i<this->TextTwoWordNum;i++)
   {
       TEXTtwoArray[i]=TEXTtwoArray[i].toLower();
   }
   //生成两篇文章的单词的并的链表(就是两篇文章单词汇总并且链表去重),然后按照各自的情况填充数组
   this->LinklistLength=0;
   LinkOfpageOne=CombineTwoArrayToALinkList(this->TEXToneArray,this->TEXTtwoArray,this->TextOneWordNum,this->TextTwoWordNum,this->LinklistLength);
   LinkOfpageTwo=CombineTwoArrayToALinkList(TEXToneArray,this->TEXTtwoArray,this->TextOneWordNum,this->TextTwoWordNum,this->LinklistLength);
   qDebug()<<"公共链表的长度:"<<this->LinklistLength;
  // ShowLinkList(LinkOfpageTwo);//one,two都是一样的
   //分别在公共链表中统计两篇文章的词的情况
  // qDebug()<<"统计后各自的情况:";
   fillLinkList(LinkOfpageOne,this->TEXToneArray,this->TextOneWordNum);
   fillLinkList(LinkOfpageTwo,this->TEXTtwoArray,this->TextTwoWordNum);
  // ShowLinkList(LinkOfpageOne);
//   ShowLinkList(LinkOfpageTwo);
   QString TextOnetf=showtf(LinkOfpageOne,this->TextOneWordNum);//生成一篇文章tf的结果
   QString TextTwotf=showtf(LinkOfpageTwo,this->TextTwoWordNum);//生成一篇文章tf的结果
   ui->plainTxt_tf1->setPlainText(TextOnetf);
   ui->plainTxt_tf2->setPlainText(TextTwotf);

   //构造和公共链表一样长的两个数组,生成cos向量
   this->cosoneArray=new double[this->LinklistLength];
   this->costwoArray=new double[this->LinklistLength];
       int index=0;
       Node *p=this->LinkOfpageOne;
       while(p!=nullptr)
       {
             cosoneArray[index]=p->_num/this->TextOneWordNum;
             index++;
             p=p->_next;
       }
       index=0;
       p=this->LinkOfpageTwo;
       while(p!=nullptr)
       {
             costwoArray[index]=p->_num/this->TextTwoWordNum;
             index++;
             p=p->_next;
       }


       for(int i=0;i<LinklistLength;i++)
       {
           qDebug()<<cosoneArray[i];
       }

       for(int i=0;i<LinklistLength;i++)
       {
           qDebug()<<costwoArray[i];
       }

       double coskey=cal(this->LinklistLength,cosoneArray,costwoArray);//计算余弦相似度
       qDebug()<<"余弦相似度:"<<coskey;
       ui->lineEdit_coskey->setText("   "+QString::number(coskey));
}




bool MainWindow::GetTwopages()//根据输入的两个url爬虫获取两个页面,并且把特殊符号全部换成空格串
{
    QString URLSTR;
        QString URLSTR2;
        URLSTR=ui->lnt_url->text();
        URLSTR2=ui->lnt_url_2->text();
        //爬虫部分ok了
         ui->progressBar->setValue(20);
        QString HTML=Robots(URLSTR);//爬虫的函数
        QString HTML2=Robots(URLSTR2);//爬虫的函数

         ui->plaintxt_rawHtml->setPlainText(HTML);//填充GUI
         ui->plaintxt_rawHtml_2->setPlainText(HTML2);//填充GUI

        //正则部分匹配
        QString re="<div id=\"dede_content\">(?<zw>.*)<div class=\"dede_pages\">";
        ui->progressBar->setValue(50);
        QString tempkeyTEXT=RegularExpression(HTML,re);//一轮正则
        QString tempkeyTEXT2=RegularExpression(HTML2,re);//一轮正则
        QString re1="<div>(?<zw>.*?)</div>";
        ui->progressBar->setValue(75);

        QString keyTEXT=RegularExpression(tempkeyTEXT,re1);//二轮正则
        QString keyTEXT2=RegularExpression(tempkeyTEXT2,re1);//二轮正则

        //替换结果里的奇奇怪怪的编码
        keyTEXT=keyTEXT.replace("&#39;","\'");//把'的编码替换成单引号
        keyTEXT=keyTEXT.replace("&nbsp;" , " ");//把&nbsp的编码替换成空
        keyTEXT=keyTEXT.replace("&quot;"," ");//把'的编码替换成单引号
        keyTEXT=keyTEXT.replace("\'re"," are");
        keyTEXT=keyTEXT.replace("\'m"," am");
        keyTEXT=keyTEXT.replace("\'s"," ");
        keyTEXT=keyTEXT.replace("\n"," ");
        keyTEXT=keyTEXT.replace("       "," ");//把长串空格换成一个
        keyTEXT=keyTEXT.replace("      "," ");//把长串空格换成一个
        keyTEXT=keyTEXT.replace("     "," ");//把长串空格换成一个
        keyTEXT=keyTEXT.replace("    "," ");//把长串空格换成一个
        keyTEXT=keyTEXT.replace("   "," ");//把长串空格换成一个
        keyTEXT=keyTEXT.replace("  "," ");//把长串空格换成一个

        for(int i=0;i<keyTEXT.size();i++)
        {
            if(('a'<=keyTEXT[i]&&keyTEXT[i]<='z') || ('A'<=keyTEXT[i]&&keyTEXT[i]<='Z'))
                continue;
            else
            {
                if('\''==keyTEXT[i])
                    continue;
                else
                {
                    qDebug()<<"有"<<keyTEXT[i];
                    keyTEXT[i]=' ';
                }
            }
        }

        keyTEXT2=keyTEXT2.replace("&#39;","\'");//把'的编码替换成单引号
        keyTEXT2=keyTEXT2.replace("&nbsp;" , " ");//把&nbsp的编码替换成空
        keyTEXT2=keyTEXT2.replace("&quot;"," ");//把'的编码替换成单引号
        keyTEXT2=keyTEXT2.replace("\'re"," are");
        keyTEXT2=keyTEXT2.replace("\'m"," am");
        keyTEXT2=keyTEXT2.replace("\'s"," ");
        keyTEXT2=keyTEXT2.replace("       "," ");//把长串空格换成一个
        keyTEXT2=keyTEXT2.replace("      "," ");//把长串空格换成一个
        keyTEXT2=keyTEXT2.replace("     "," ");//把长串空格换成一个
        keyTEXT2=keyTEXT2.replace("    "," ");//把长串空格换成一个
        keyTEXT2=keyTEXT2.replace("   "," ");//把长串空格换成一个
        keyTEXT2=keyTEXT2.replace("  "," ");//把长串空格换成一个
        for(int i=0;i<keyTEXT2.size();i++)
        {
            if(('a'<=keyTEXT2[i]&&keyTEXT2[i]<='z') || ('A'<=keyTEXT2[i]&&keyTEXT2[i]<='Z'))
                continue;
            else
            {
                if('\''==keyTEXT2[i])
                    continue;
                else
                {
                    qDebug()<<"有"<<keyTEXT2[i];
                    keyTEXT2[i]=' ';
                }
            }
        }



        ui->plainTxt_result->setPlainText(keyTEXT);
        ui->plainTxt_result_2->setPlainText(keyTEXT2);

         ui->progressBar->setValue(100);
}

robotsandre.cpp

#include "robotsandre.h"



QString Robots(QString url)//爬取页面
{
    QUrl URL=url;
    QNetworkAccessManager manager;
    QEventLoop Loop;
    QNetworkReply *reply=manager.get(QNetworkRequest(URL));
    QObject::connect(reply,SIGNAL(finished()),&Loop,SLOT(quit()));
    Loop.exec();
    QString HtmlText=reply->readAll();
    return HtmlText;
}

QString RegularExpression(QString  HTML,QString re)//正则提取爬到的页面正文
{
    QString TextAfterRe=" ";
    //这个第二个参数太重要了，让.可以匹配换行,不然会匹配不出东西的,如果不写的话.是不能匹配换行的
    QRegularExpression Re(re,QRegularExpression::DotMatchesEverythingOption);
    QRegularExpressionMatchIterator Matchs=Re.globalMatch(HTML);

    QRegularExpressionMatch match=Matchs.next();
    TextAfterRe=TextAfterRe+match.captured("zw");//一轮匹配结果

    while(Matchs.hasNext()==true)
    {
        match=Matchs.next();
        QString temp=match.captured("zw");
        if(temp=="\r\n\t&nbsp;")
        {
            TextAfterRe=TextAfterRe+"\n";
            continue;
        }
        TextAfterRe=TextAfterRe+"\n"+temp;
    }

    return TextAfterRe;
}

tfwithcos.cpp

#include "tfwithcos.h"


//把两篇文章生成两个数组
void RaiseTwoArray(QString * &TEXToneArray,QString * &TEXTtwoArray,int &TextOneWordNum,int &TextTwoWordNum,QString TEXTone,QString TEXTtwo)
{

    QRegularExpression REoneword("[a-zA-Z]{1,20}");
    QRegularExpressionMatchIterator Matchsone=REoneword.globalMatch(TEXTone);
    QRegularExpressionMatchIterator Matchstwo=REoneword.globalMatch(TEXTtwo);

        TextOneWordNum=0;
        while(Matchsone.hasNext())
        {
           QRegularExpressionMatch tempmatch=Matchsone.next();//不加这句会异常退出,不知道为什么。。
          TextOneWordNum++;
        }

        TextTwoWordNum=0;
        while(Matchstwo.hasNext())
        {
            QRegularExpressionMatch tempmatch=Matchstwo.next();//不加这句会异常退出,不知道为什么。。
           TextTwoWordNum++;
        }

        qDebug()<<TextOneWordNum<<" 和 "<<TextTwoWordNum;
        TEXToneArray=new QString [TextOneWordNum];
        TEXTtwoArray=new QString [TextTwoWordNum];

       Matchsone=REoneword.globalMatch(TEXTone);
       Matchstwo=REoneword.globalMatch(TEXTtwo);

        int index=0;
        while(Matchsone.hasNext())
        {
            QRegularExpressionMatch match=Matchsone.next();
            TEXToneArray[index]=match.captured(0);
           // qDebug()<<TEXToneArray[index];
            index++;
        }

        index=0;
        while(Matchstwo.hasNext())
        {
            QRegularExpressionMatch match=Matchstwo.next();
            TEXTtwoArray[index]=match.captured(0);
            //qDebug()<<TEXTtwoArray[index];
            index++;
        }
}
void AddAtTail(Node * Head,QString word)//把节点添加到末尾
{
    Node *p;
    p=Head;
    while(p->_next!=nullptr)
    {
        p=p->_next;
    }
    p->_next=new Node(word);
}

//把刚刚生成的两个数组合并成一个链表,并且在合并的过程中顺带进行链表去重
Node* CombineTwoArrayToALinkList(QString * TEXToneArray,QString * TEXTtwoArray,int TextOneWordNum,int TextTwoWordNum,int &LinkListLength)
{
    LinkListLength=0;
    Node * LinklistHead=nullptr;
    Node *p=LinklistHead;
    for(int i=0;i<TextOneWordNum;i++)
    {
        p=LinklistHead;
        if(LinklistHead==nullptr)//如果是空链表,就加上去就可以了
        {
             LinklistHead=new Node("i");//头节点
             LinkListLength++;
             AddAtTail(LinklistHead,TEXToneArray[i]);
             LinkListLength++;
        }
        else//链表非空的情况
        {
            while(p!=nullptr)
            {
                if(p->_word==TEXToneArray[i])//已经存在了
                    break;
                p=p->_next;
            }
            if(p==nullptr)//找到链表的最后都没有找到重复,就加上去
            {
                AddAtTail(LinklistHead,TEXToneArray[i]);
                LinkListLength++;
            }

        }
    }

    //添加第二篇文章数组的内容
    for(int i=0;i<TextTwoWordNum;i++)
    {
        p=LinklistHead;
        if(LinklistHead==nullptr)//如果是空链表,就加上去就可以了
        {
            LinklistHead=new Node("start");//头节点
            LinkListLength++;
            AddAtTail(LinklistHead,TEXTtwoArray[i]);
            LinkListLength++;
        }
        else//链表非空的情况
        {
            while(p !=nullptr)
            {
                if(p->_word==TEXTtwoArray[i])
                    break;
                p=p->_next;
            }
            if(p==nullptr)//找到链表的最后都没有找到重复,就加上去
            {
                AddAtTail(LinklistHead,TEXTtwoArray[i]);
                LinkListLength++;
            }

        }
    }

    return LinklistHead;
}

void ShowLinkList(Node* Head)
{
    qDebug()<<"链表:"<<Head;
    Node *p=Head;
    while(p!=nullptr)
    {
        qDebug()<<p->_word<<":"<<p->_num;
        p=p->_next;
    }
}

//根据文章各自的情况 填充自己的总链表
void fillLinkList(Node *LinkListOfpage,QString *TEXTArray,int TextWordNum)
{
    Node * p=LinkListOfpage;
    for(int i=0;i<TextWordNum;i++)
    {
        p=LinkListOfpage;
        while(p!=nullptr)
        {
            if(p->_word==TEXTArray[i])
            {
                p->_num++;
                break;
            }

            p=p->_next;
        }
    }
}


QString showtf(Node *Head,int Length)//生成一篇文章tf的结果
{
    QString result="";
    Node *p=Head;
    while(p!=nullptr)
    {
        if(p->_num!=0)//是0就说明是另一篇文章的词语,这篇文章里面没有这个单词
        {
          result=result+p->_word+":"+QString::number(p->_num)+"/"+QString::number(Length)+'\n';
        }

        p=p->_next;
    }

    return result;
}



//计算余弦相似度的部分
double cal(int N,double *oneArray,double *twoArray)//计算余弦相似度
{
    double coskey;
    double fz=0;
    double fm=0;
    for(int i=0;i<N;i++)
    {
        fz=fz+oneArray[i]*twoArray[i];
    }
     qDebug()<<"fz:"<<fz;

    double onefm=0;
    double twofm=0;

    for(int i=0;i<N;i++)
    {
        onefm=onefm+oneArray[i]*oneArray[i];
        twofm=twofm+twoArray[i]*twoArray[i];
    }

    qDebug()<<"onefm"<<onefm<<" "<<"twofm"<<twofm;

    fm=sqrt(onefm)*sqrt(twofm);
    qDebug()<<"fm"<<fm;
    coskey=fz/fm;
    return coskey;
}

mainwindow.ui

<?xml version="1.0" encoding="UTF-8"?>
<ui version="4.0">
 <class>MainWindow</class>
 <widget class="QMainWindow" name="MainWindow">
  <property name="geometry">
   <rect>
    <x>0</x>
    <y>0</y>
    <width>1169</width>
    <height>700</height>
   </rect>
  </property>
  <property name="font">
   <font>
    <family>Arial</family>
    <weight>75</weight>
    <italic>true</italic>
    <bold>true</bold>
   </font>
  </property>
  <property name="windowTitle">
   <string>爬取并计算Web网页的内容相似度 Alsn  信息内容安全课设</string>
  </property>
  <property name="windowIcon">
   <iconset resource="tupian.qrc">
    <normaloff>:/icon.png</normaloff>:/icon.png</iconset>
  </property>
  <property name="autoFillBackground">
   <bool>false</bool>
  </property>
  <property name="styleSheet">
   <string notr="true">#MainWindow {background-color: rgb(140,199,181);}</string>
  </property>
  <widget class="QWidget" name="centralWidget">
   <widget class="QLabel" name="label">
    <property name="geometry">
     <rect>
      <x>30</x>
      <y>10</y>
      <width>91</width>
      <height>42</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial Black</family>
      <pointsize>14</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">color: rgb(0, 0, 0);</string>
    </property>
    <property name="text">
     <string>URL1</string>
    </property>
   </widget>
   <widget class="QLineEdit" name="lnt_url">
    <property name="geometry">
     <rect>
      <x>120</x>
      <y>20</y>
      <width>1011</width>
      <height>31</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>11</pointsize>
      <weight>50</weight>
      <bold>false</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(255, 245, 183);</string>
    </property>
    <property name="placeholderText">
     <string>在此输入文章链接</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plainTxt_result">
    <property name="geometry">
     <rect>
      <x>420</x>
      <y>220</y>
      <width>491</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>14</pointsize>
      <weight>50</weight>
      <italic>false</italic>
      <bold>false</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(214,213,183);</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plaintxt_rawHtml">
    <property name="enabled">
     <bool>true</bool>
    </property>
    <property name="geometry">
     <rect>
      <x>20</x>
      <y>220</y>
      <width>371</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>50</weight>
      <italic>false</italic>
      <bold>false</bold>
     </font>
    </property>
    <property name="mouseTracking">
     <bool>false</bool>
    </property>
    <property name="autoFillBackground">
     <bool>false</bool>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(214,213,183);</string>
    </property>
   </widget>
   <widget class="QPushButton" name="btn_Start">
    <property name="geometry">
     <rect>
      <x>20</x>
      <y>110</y>
      <width>93</width>
      <height>51</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>14</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(255, 216, 58);</string>
    </property>
    <property name="text">
     <string>Start</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_2">
    <property name="geometry">
     <rect>
      <x>160</x>
      <y>190</y>
      <width>121</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章一HTML</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_3">
    <property name="geometry">
     <rect>
      <x>630</x>
      <y>190</y>
      <width>61</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章一</string>
    </property>
   </widget>
   <widget class="QProgressBar" name="progressBar">
    <property name="geometry">
     <rect>
      <x>120</x>
      <y>120</y>
      <width>641</width>
      <height>41</height>
     </rect>
    </property>
    <property name="styleSheet">
     <string notr="true"/>
    </property>
    <property name="value">
     <number>0</number>
    </property>
   </widget>
   <widget class="QLabel" name="label_4">
    <property name="geometry">
     <rect>
      <x>30</x>
      <y>60</y>
      <width>91</width>
      <height>42</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial Black</family>
      <pointsize>14</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">color: rgb(0, 0, 0);</string>
    </property>
    <property name="text">
     <string>URL2</string>
    </property>
   </widget>
   <widget class="QLineEdit" name="lnt_url_2">
    <property name="geometry">
     <rect>
      <x>120</x>
      <y>60</y>
      <width>1011</width>
      <height>31</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>11</pointsize>
      <weight>50</weight>
      <bold>false</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(255, 245, 183);</string>
    </property>
    <property name="placeholderText">
     <string>在此输入文章链接</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_5">
    <property name="geometry">
     <rect>
      <x>150</x>
      <y>440</y>
      <width>111</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章二HTML</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plaintxt_rawHtml_2">
    <property name="enabled">
     <bool>true</bool>
    </property>
    <property name="geometry">
     <rect>
      <x>20</x>
      <y>470</y>
      <width>371</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>50</weight>
      <italic>false</italic>
      <bold>false</bold>
     </font>
    </property>
    <property name="mouseTracking">
     <bool>false</bool>
    </property>
    <property name="autoFillBackground">
     <bool>false</bool>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(214,213,183);</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_6">
    <property name="geometry">
     <rect>
      <x>630</x>
      <y>440</y>
      <width>61</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章二</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plainTxt_result_2">
    <property name="geometry">
     <rect>
      <x>420</x>
      <y>470</y>
      <width>491</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>14</pointsize>
      <weight>50</weight>
      <italic>false</italic>
      <bold>false</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(214,213,183);</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plainTxt_tf1">
    <property name="geometry">
     <rect>
      <x>940</x>
      <y>220</y>
      <width>211</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <italic>false</italic>
      <bold>true</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(255, 245, 183);</string>
    </property>
   </widget>
   <widget class="QPlainTextEdit" name="plainTxt_tf2">
    <property name="geometry">
     <rect>
      <x>940</x>
      <y>470</y>
      <width>211</width>
      <height>211</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <italic>false</italic>
      <bold>true</bold>
     </font>
    </property>
    <property name="styleSheet">
     <string notr="true">background-color: rgb(255, 245, 183);</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_7">
    <property name="geometry">
     <rect>
      <x>1000</x>
      <y>190</y>
      <width>91</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章一TF</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_8">
    <property name="geometry">
     <rect>
      <x>1000</x>
      <y>440</y>
      <width>91</width>
      <height>21</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>12</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>文章二TF</string>
    </property>
   </widget>
   <widget class="QLabel" name="label_9">
    <property name="geometry">
     <rect>
      <x>780</x>
      <y>120</y>
      <width>141</width>
      <height>41</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>16</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
    <property name="text">
     <string>余弦相似度:</string>
    </property>
   </widget>
   <widget class="QLineEdit" name="lineEdit_coskey">
    <property name="geometry">
     <rect>
      <x>930</x>
      <y>120</y>
      <width>201</width>
      <height>41</height>
     </rect>
    </property>
    <property name="font">
     <font>
      <family>Arial</family>
      <pointsize>16</pointsize>
      <weight>75</weight>
      <bold>true</bold>
     </font>
    </property>
   </widget>
  </widget>
  <widget class="QStatusBar" name="statusBar"/>
 </widget>
 <layoutdefault spacing="6" margin="11"/>
 <resources>
  <include location="tupian.qrc"/>
 </resources>
 <connections/>
</ui>
Alsn86
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Alsn Qt5 信息内容安全TF IDF计算器.rar
06-21
Alsn Qt5 信息内容安全TF IDF计算器.rar
Qt实现简易爬虫
03-18
用Qt实现的简易爬虫主要用了Qt中的网络访问和正则表达式。
基于可视块的网页相似度计算技术研究
03-10
衡量网页相似度是Web内容检测和分类的核心问题之一。 在本文中，我们首先给出网页可视块的定义。 然后我们提出了一种使用可视块来测量网页相似度的方法。 实验表明，该方法可以有效地测量不同类型网页之间的相似度。
网页重复度检测——shingling算法
LOG_IN_ME的博客
07-26 1596
1 前言 最简单的检测重复网页的方法就是对每一个网页计算用指纹生成算法出一个简洁的“指纹”。接着，当两个网页的“指纹”一样时，我们就进一步地去比对它们的网页内容是否一样，但是这个最简单的办法在捕捉“相似的副本”方面是失败的。在许多情况下，一个网页只有几个字符与另一个网页不同——比如一篇文章最后落款的日期不同，但是文章内容完全一致。面对这种情况，我们就要去识别两个网页之间的相似度来让我们只需检索其中一个网页。 2 直接计算Jaccard系数的shingling算法 首先给定一个正整数k，和文档d。我们定
搜索引擎算法c语言,搜索引擎网页相似度算法
weixin_39675926的博客
05-23 398
对于网页相似度，以前写过类似文章，但大都从表面认识，根本没有涉及到技术方面，网页相似度，或者我们经常提到的重复性内容判断，搜索引擎都有自身一套非常科学的算法机制。搜索引擎判断网页相似度一般都基于这么一个思想：为每个网页计算出一组信息指纹(Fingerprint)，若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容重叠性很高，也就是说两个网页内容非常相似甚至是复制的。很多搜索引擎判断网页相似...
基于视觉的网页结构相似性计算
Together_CZ的博客
12-15 3651
由于工作学习的安排，一直参与项目课题的工作，期间在计算两个页面之间相似度的时候，寻求到了一个新的思路，于是努力实现了一下，这里简单说一下自己在接到这个问题的时候的思路吧：网页的相似度，分类，聚类之类的工作很多大牛都做了很多的研究，基于文本、内容、图像各个方面的都有，效果也还是可以的，这次出发点是网页的视觉信息但是在真的动手去做的时候却发现视觉信息包含的计算量太过于庞大了，而且需要很多的预处理，没有
一种通用的网页相似度检测算法
weixin_34268579的博客
04-10 3045
2019独角兽企业重金招聘Python工程师标准>>> ...
网页结构相似度检测算法——Go（特征向量）
最新发布
qq_40119224的博客
09-20 346
记录看到的一篇专利，用于批量查找具有相似模板特征向量的作弊网站的。
网页内容相似度检测算法——Go
qq_40119224的博客
08-23 340
基于业务需要，记录由Go实现的网页内容相似度检测算法！
qt解析html的数据,windows下用QTwebkit解析html
weixin_33593741的博客
06-04 365
环境windows7 + VS2010 + QT5.2_opengl配置开发环境1、安装VS20102、安装QT 5.23、安装Visual Studio Add-in for QT54、配置VS 2010配置路径：QT5 ==> "Qt Options" ==> "Qt Versions" ==> Add默认路径为：C:\Qt\Qt5.2.0\5.2.0\msvc2010_op...
QT5 打开一个浏览器和对应的网页实例
01-08
在QT5 写的一个小实例， 打开一个浏览器和对应的网页
QT C++检测计算机软硬件信息
05-09
使用QT C++ 检测系统的计算机名称、cpu、显卡、内存、操作系统、几个屏幕以及每个屏幕的分辨率、硬盘信息、IP、MAC地址、公网IP、以及是否能够联网等信息 详情与效果图见博客：...
C++ Qt 基于数据库Mysql学生信息管理系统-数据结构课设
02-07
C++ Qt 基于数据库Mysql学生信息管理系统 一．使用说明 该学生信息管理系统使用的数据库为MySQL； 在另外一台电脑上（老师的电脑）运行时运行环境必须满足以下要求： 1,那台电脑必须要安装数据库MySQL;安装引导里...
C++QT实现对pdf、word文档预览以及文本内容的读取
03-25
最近在做一个简历管理工具时遇到了一些需求，在网上找了大量资源信息，发现Qt对pdf、word进行数据读取的信息少之又少，于是根据我自己的摸索，实现了这些需求功能。 功能主要实现了1、对pdf、word文件进行预览显示2...
常用的相似度计算方法原理及实现
热门推荐
张齐贤的博客
04-01 2万+
在数据分析和数据挖掘以及搜索引擎中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。常见的比如数据分析中比如相关分析，数据挖掘中的分类聚类（K-Means等）算法，搜索引擎进行物品推荐时。相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似度小。比如两种水果，将从颜色，大小，维生素含量等特征进行比较相似性。问题定义：有两个...
网页去重||SimHash（高效的文本相似度去重算法）——适合大批量文档的相似度计算
qq_39368007的博客
03-23 2853
网页去重 之前我们对下载的url地址进行了去重操作，避免同样的url下载多次。其实不光url需要去重，我们对下载的内容也需要去重。 在网上我们可以找到许多内容相似的文章。但是实际我们只需要其中一个即可，同样的内容没有必要下载多次，那么如何进行去重就需要进行处理了 去重方案介绍 指纹码对比 最常见的去重方案是生成文档的指纹门。例如对一篇文章进行MD5加密生成一个字符串，我们可以认为这是文章...
Qt: 网络编程实例，QNetworkAccessManager获取网页数据
好儿郎~志在四方
10-20 1万+
Qt: 网络编程实例，QNetworkAccessManager获取网页数据
使用QT c++编写一个爬虫程序
caridle的专栏
03-10 673
【代码】使用QT c++编写一个爬虫程序。
【Qt 实现网页爬虫】
wddkxg的博客
02-07 1093
Qt C++实现网页爬虫 Qt 实现爬取指定网页的图片信息 实现原理：1.获取网页HTML 2.解析HTML得到图片链接 3.下载图片。
python如何设置qt5文本框回车键跳到一个文本框并全选文本框的内容
04-24
可以使用Qt的signals和slots机制来实现回车键跳转文本框并全选其中的内容。具体实现代码可以参考以下示例： ```python from PyQt5.QtCore import Qt, pyqtSignal from PyQt5.QtGui import QKeyEvent from PyQt5.Qt...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值