基于爬虫+大数据的农村产权交易数据可视化平台设计与实现

💗博主介绍：✌全网粉丝15W+,CSDN全栈领域优质创作者，博客之星、掘金/华为云/阿里云等平台优质作者,计算机毕设实战导师。目前专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌
💗主要服务内容：免费功能设计、选题定题、开题报告、任务书、程序开发、论文编写和辅导、论文降重、程序讲解、答辩辅导等，欢迎咨询~
👇🏻 精彩专栏 推荐订阅👇🏻
计算机毕业设计精品项目案例（持续更新）
🌟文末获取源码+数据库+文档🌟
感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多的人

一.前言

随着中国农业现代化和农村经济的发展，农村产权交易活动日益频繁，迫切需要规范化、市场化和信息化的交易服务平台以提升交易效率和透明度。作为重要的农业大省，拥有丰富的农业资源和广阔的农村土地资源，其农村产权的交易潜力巨大。然而，传统的交易方式由于信息不对称、交易成本高、效率低下等缺点，已经难以满足现代农村经济发展的需求。缺乏有效的监管和服务体系也使得农村产权交易存在一定的风险。因此，构建一个集信息发布、交易撮合、合同签订、项目评价于一体的综合性农村产权交易与数据可视化平台，对于促进乃至整个国家农村产权交易市场的健康发展具有重要的现实意义。

农村产权交易与数据可视化平台的建立，可以有效整合分散的农村产权交易信息，通过数字化手段提高信息的可获取性和透明度，降低交易双方的搜寻成本，提升交易效率。平台的可视化功能使得复杂的数据和交易流程直观展现，便于用户理解和分析，从而做出更为明智的决策。平台提供的政策法规宣传和合同签订指导服务，增强了交易的合法性和安全性，减少了交易纠纷的可能性。系统管理功能的加强，保障了平台运行的稳定性和可靠性，提升了用户体验。综上所述，该平台不仅促进了农村产权的有效流转，助力农民增收和农村经济发展，也为政府监管提供了便利，是推动农业产业结构调整和农村经济转型升级的重要支撑。

---

二.技术环境

开发语言：Java
Java框架：SpringBoot
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
爬虫框架：Scrapy
可视化技术：Echarts
开发软件：Idea/Eclipse
前端框架:vue.js

---

三.功能设计

农村产权交易与数据可视化平台综合网络空间开发设计要求。目的是将传统管理方式转换为在网上管理，完成产权交易管理的方便快捷、安全性高、交易规范做了保障，目标明确。农村产权交易与数据可视化平台可以将功能划分为管理员功能和用户功能。
（1）、管理员关键功能包含用户、交易信息、政策法规、项目分类、产权项目、交易撮合、合同签订、项目评价、系统管理、用户信息等进行管理。管理员用例如下：

（2）、用户关键功能包含个人中心、修改密码、产权项目、交易撮合、合同签订、项目评价、我的收藏等进行管理。用户用例如下：

四.数据设计

概念模型的设计是为了抽象真实世界的信息，并对信息世界进行建模。它是数据库设计的强大工具。数据库概念模型设计可以通过E-R图描述现实世界的概念模型。系统的E-R图显示了系统中实体之间的链接。而且Mysql数据库是自我保护能力比较强的数据库，在系统中对一些主要的几个关键实体：将“用户、合同签订、政策法规、项目评价、交易撮合、新闻中心”等作为实体，它们的局部E-R图，如图所示：

五.部分效果展示

前台用户功能实现效果

当人们打开系统的网址后，首先看到的就是首页界面。在这里，人们能够看到系统的导航条，通过导航条导航进入各功能展示页面进行操作。系统首页界面如图所示：

政策法规：在政策法规页面输入政策名称、分类、发布机构进行查询，可以查看到政策法规详细信息，并根据需要进行评论或收藏操作；政策法规页面如图所示：

产权项目：在产权项目页面输入项目名称和转让方进行查询，可以查看到产权项目详细信息，并根据需要进行交易撮合或收藏操作；产权项目页面如图所示：

个人中心：在个人中心页面可以对个人中心、修改密码、产权项目、交易撮合、合同签订、项目评价、我的收藏等进行详细操作；如图所示：

产权项目：在产权项目页面输入项目名称和转让方进行查询，可以查看到产权项目详细信息，并根据需要进行修改、删除或收藏操作；还可以对产权项目进行添加。产权项目页面如图所示：

交易撮合：在交易撮合页面输入项目名称、转让方和意向受让方进行查询，可以查看到交易撮合详细信息，并根据需要进行删除、合同签订或审核操作；交易撮合页面如图所示：

合同签订：在合同签订页面输入项目名称、转让方和意向受让方进行查询，可以查看到合同签订详细信息，并根据需要进行项目评价操作；合同签订页面如图所示：

后台管理员功能实现效果

在登录流程中，用户首先在Vue前端界面输入用户名和密码。这些信息通过HTTP请求发送到Java后端。后端接收请求，通过与MySQL数据库交互验证用户凭证。如果认证成功，后端会返回给前端，允许用户访问系统。这个过程涵盖了从用户输入到系统验证和响应的全过程。如图所示。

管理员进入主页面，主要功能包括对用户、交易信息、政策法规、项目分类、产权项目、交易撮合、合同签订、项目评价、系统管理、用户信息等进行操作。管理员主页面如图所示：

交易信息功能在视图层（view层）进行交互，比如点击“查询、新增、删除或爬取数据”按钮或填写交易信息表单。这些交易信息表单动作被视图层捕获并作为请求发送给相应的控制器层（controller层）。控制器接收到这些请求后，调用服务层（service层）以执行相关的业务逻辑，例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后，进一步与数据访问对象层（DAO层）交互，后者负责具体的数据操作如查看、修改或删除交易信息，并将操作结果返回给控制器。最终，控制器根据这些结果更新视图层，以便交易信息功能可以看到最新的信息或相应的操作反馈。如图所示：

政策法规功能在视图层（view层）进行交互，比如点击“查询、新增或删除”按钮或填写政策法规表单。这些政策法规表单动作被视图层捕获并作为请求发送给相应的控制器层（controller层）。控制器接收到这些请求后，调用服务层（service层）以执行相关的业务逻辑，例如验证输入数据的有效性和与数据库的交互。服务层处理完这些逻辑后，进一步与数据访问对象层（DAO层）交互，后者负责具体的数据操作如查看、修改、查看评论或删除政策法规信息，并将操作结果返回给控制器。最终，控制器根据这些结果更新视图层，以便政策法规功能可以看到最新的信息或相应的操作反馈。如图所示：

数据可视化分析大屏展示实现效果

管理员进行爬取数据后，点击主页面右上角的看板，可以查看到系统简介、城市分布、县/区占比、各镇统计、用户总数、交易信息总数、产权项目总数、交易撮合总数、合同签订总数、交易信息等实时的分析图进行可视化管理；如图所示：

六.部分功能代码

# # -*- coding: utf-8 -*-

# 数据爬取文件

import scrapy
import pymysql
import pymssql
from ..items import JiaoyixinxiItem
import time
from datetime import datetime,timedelta
import datetime as formattime
import re
import random
import platform
import json
import os
import urllib
from urllib.parse import urlparse
import requests
import emoji
import numpy as np
import pandas as pd
from sqlalchemy import create_engine
from selenium.webdriver import ChromeOptions, ActionChains
from scrapy.http import TextResponse
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
# 交易信息
class JiaoyixinxiSpider(scrapy.Spider):
    name = 'jiaoyixinxiSpider'
    spiderUrl = 'https://www.jlncjy.com/api/v1.0/chanquan/purchase/purchaseList'
    start_urls = spiderUrl.split(";")
    protocol = ''
    hostname = ''
    realtime = False


    def __init__(self,realtime=False,*args, **kwargs):
        super().__init__(*args, **kwargs)
        self.realtime = realtime=='true'

    def start_requests(self):

        plat = platform.system().lower()
        if not self.realtime and (plat == 'linux' or plat == 'windows'):
            connect = self.db_connect()
            cursor = connect.cursor()
            if self.table_exists(cursor, '337t9pwg_jiaoyixinxi') == 1:
                cursor.close()
                connect.close()
                self.temp_data()
                return
        pageNum = 1 + 1
        for url in self.start_urls:
            if '{}' in url:
                for page in range(1, pageNum):
                    next_link = url.format(page)
                    yield scrapy.Request(
                        url=next_link,
                        callback=self.parse
                    )
            else:
                yield scrapy.Request(
                    url=url,
                    callback=self.parse
                )

    # 列表解析
    def parse(self, response):
        _url = urlparse(self.spiderUrl)
        self.protocol = _url.scheme
        self.hostname = _url.netloc
        plat = platform.system().lower()
        if not self.realtime and (plat == 'linux' or plat == 'windows'):
            connect = self.db_connect()
            cursor = connect.cursor()
            if self.table_exists(cursor, '337t9pwg_jiaoyixinxi') == 1:
                cursor.close()
                connect.close()
                self.temp_data()
                return
        data = json.loads(response.body)
        try:
            list = data["data"]["list"]
        except:
            pass
        for item in list:
            fields = JiaoyixinxiItem()


            try:
                fields["pname"] = str( item["projectName"])

            except:
                pass
            try:
                fields["psname"] = str( item["projectShortName"])

            except:
                pass
            try:
                fields["nstime"] = str( item["noticeStartTime"])

            except:
                pass
            try:
                fields["setime"] = str( item["signEndTime"])

            except:
                pass
            try:
                fields["cgys"] = float( item["purchaseBudget"])
            except:
                pass
            try:
                fields["pcode"] = str( item["projectCode"])

            except:
                pass
            try:
                fields["city"] = str( item["city"])

            except:
                pass
            try:
                fields["county"] = str( item["county"])

            except:
                pass
            try:
                fields["township"] = str( item["township"])

            except:
                pass
            try:
                fields["village"] = str( item["village"])

            except:
                pass
            try:
                fields["longitude"] = float( item["longitude"])
            except:
                pass
            try:
                fields["latitude"] = float( item["latitude"])
            except:
                pass

            yield fields

    # 详情解析
    def detail_parse(self, response):
        fields = response.meta['fields']
        return fields

    # 数据清洗
    def pandas_filter(self):
        engine = create_engine('mysql+pymysql://root:123456@localhost/spider337t9pwg?charset=UTF8MB4')
        df = pd.read_sql('select * from jiaoyixinxi limit 50', con = engine)

        # 重复数据过滤
        df.duplicated()
        df.drop_duplicates()

        #空数据过滤
        df.isnull()
        df.dropna()

        # 填充空数据
        df.fillna(value = '暂无')

        # 异常值过滤

        # 滤出 大于800 和 小于 100 的
        a = np.random.randint(0, 1000, size = 200)
        cond = (a<=800) & (a>=100)
        a[cond]

        # 过滤正态分布的异常值
        b = np.random.randn(100000)
        # 3σ过滤异常值，σ即是标准差
        cond = np.abs(b) > 3 * 1
        b[cond]

        # 正态分布数据
        df2 = pd.DataFrame(data = np.random.randn(10000,3))
        # 3σ过滤异常值，σ即是标准差
        cond = (df2 > 3*df2.std()).any(axis = 1)
        # 不满⾜条件的⾏索引
        index = df2[cond].index
        # 根据⾏索引，进⾏数据删除
        df2.drop(labels=index,axis = 0)

    # 去除多余html标签
    def remove_html(self, html):
        if html == None:
            return ''
        pattern = re.compile(r'<[^>]+>', re.S)
        return pattern.sub('', html).strip()

    # 数据库连接
    def db_connect(self):
        type = self.settings.get('TYPE', 'mysql')
        host = self.settings.get('HOST', 'localhost')
        port = int(self.settings.get('PORT', 3306))
        user = self.settings.get('USER', 'root')
        password = self.settings.get('PASSWORD', '123456')

        try:
            database = self.databaseName
        except:
            database = self.settings.get('DATABASE', '')

        if type == 'mysql':
            connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')
        else:
            connect = pymssql.connect(host=host, user=user, password=password, database=database)
        return connect

    # 断表是否存在
    def table_exists(self, cursor, table_name):
        cursor.execute("show tables;")
        tables = [cursor.fetchall()]
        table_list = re.findall('(\'.*?\')',str(tables))
        table_list = [re.sub("'",'',each) for each in table_list]

        if table_name in table_list:
            return 1
        else:
            return 0

    # 数据缓存源
    def temp_data(self):

        connect = self.db_connect()
        cursor = connect.cursor()
        sql = '''
            insert into `jiaoyixinxi`(
                id
                ,pname
                ,psname
                ,nstime
                ,setime
                ,cgys
                ,pcode
                ,city
                ,county
                ,township
                ,village
                ,longitude
                ,latitude
            )
            select
                id
                ,pname
                ,psname
                ,nstime
                ,setime
                ,cgys
                ,pcode
                ,city
                ,county
                ,township
                ,village
                ,longitude
                ,latitude
            from `337t9pwg_jiaoyixinxi`
            where(not exists (select
                id
                ,pname
                ,psname
                ,nstime
                ,setime
                ,cgys
                ,pcode
                ,city
                ,county
                ,township
                ,village
                ,longitude
                ,latitude
            from `jiaoyixinxi` where
                `jiaoyixinxi`.id=`337t9pwg_jiaoyixinxi`.id
            ))
        '''

        cursor.execute(sql)
        connect.commit()
        connect.close()

为什么选择我们

大学毕业那年，曾经有幸协助指导老师做过毕业设计课题分类、论文初选（查看论文的格式）、代码刻录等打杂的事情，也帮助过同界N多同学完成过毕业设计工作，毕业后在一家互联网大厂工作8年，先后从事Java前后端开发、系统架构设计等方面的工作，有丰富的编程能力和水平，也在工作之余指导过别人完成过一些毕业设计的工作。2016年至今，团队已指导上万名学生顺利通过毕业答辩，目前是csdn特邀作者、CSDN全栈领域优质创作者，博客之星、掘金/华为云/B站/知乎等平台优质作者,计算机毕设实战导师，专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎咨询~✌

最后

💕💕
最新计算机毕业设计选题篇-选题推荐
小程序毕业设计精品项目案例-200套
Java毕业设计精品项目案例-200套
Python毕业设计精品项目案例-200套
大数据毕业设计精品项目案例-200套
💟💟如果大家有任何疑虑，欢迎在下方位置详细交流。