爬虫大作业网站展示

最新推荐文章于 2023-11-07 17:12:15 发布
最新推荐文章于 2023-11-07 17:12:15 发布
阅读量207 收藏
点赞数
分类专栏： Web编程 文章标签： web jscript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51194771/article/details/118097784
版权

基于第一个项目爬虫爬取的数据（3-5个数据源），完成数据展示网站。

基本要求：

1、用户可注册登录网站，非注册用户不可登录查看数据

2、用户注册、登录、查询等操作记入数据库中的日志

3、实现查询词支持布尔表达式 （比如“新冠 AND 肺炎”或者“新冠 OR 肺炎”）

4、爬虫数据查询结果列表支持分页和排序

5、用Echarts或者D3实现3个以上的数据分析图表展示在网站中

扩展要求（非必须）：

1、实现对爬虫数据中文分词的查询

2、实现查询结果按照主题词打分的排序

          3、用Elastic Search+Kibana展示爬虫的数据结果

目录

一、建mysql表

二、登录/注册端

三、查询端

四、图表

1.柱状图

2.词云

3.折线图

4.饼图

一、建mysql表

对应在mysql中建立user和user_action两张表用以储存用户信息

即               

二、登录/注册端

app.use(session({
  secret: 'sessiontest',//与cookieParser中的一致
  resave: true,
  saveUninitialized: false, // 是否保存未初始化的会话
  cookie : {
    maxAge : 1000 * 60 * 60, // 设置 session 的有效时间，单位毫秒
  },
}));

$scope.check_pwd = function () {

    var data = JSON.stringify({
        username: $scope.username,
        password: $scope.password
    });

$http.post("/users/login", data).then(function (res) {
    if(res.data.msg=='ok') {
        window.location.href='/news.html';
    }
    else{
        $scope.msg=res.data.msg;
    }
},function (err) {
        $scope.msg = err.data;
    });
};

$scope.doAdd = function () {
    if($scope.add_password!==$scope.confirm_password){
            // $timeout(function () {
            //     $scope.msg = '两次密码不一致！';
            // },100);
        $scope.msg = '两次密码不一致！';
    }
    else {
        var data = JSON.stringify({
        username: $scope.add_username,
        password: $scope.add_password
    });
            
$http.post("/users/register", data).then(function (res) {
    if(res.data.msg=='成功注册！请登录') {
        $scope.msg=res.data.msg;
        $timeout(function () {
            window.location.href='index.html';
        },2000);
    } 
    else {
        $scope.msg = res.data.msg;
    }
    }, function (err) {
            $scope.msg = err.data;
        });
    }
}；

module.exports = { mysql: { host : 'localhost'， user : 'root', password: 'root', database: 'crawl', connectionLimit: 10 } };

三、查询端

$scope.search = function () {
    var title1 = $scope.title1;
    var title2 = $scope.title2;
    var selectTitle = $scope.selectTitle;
    var content1 = $scope.content1;
    var content2 = $scope.content2;
    var selectContent = $scope.selectContent;
    var sorttime = $scope.sorttime;

    // 检查用户传的参数是否有问题
    //用户有可能这样输入：___  and/or  新冠（直接把查询词输在了第二个位置）
    if(typeof title1=="undefined" && typeof title2!="undefined" && title2.length>0){
        title1 = title2;
    }
    if(typeof content1=="undefined" && typeof content2!="undefined" && content2.length>0){
        content1 = content2;
    }
    // 用户可能一个查询词都不输入，默认就是查找全部数据
    var myurl = `/news/search?t1=${title1}&ts=${selectTitle}&t2=${title2}&c1=${content1}&cs=${selectContent}&c2=${content2}&stime=${sorttime}`;

$http.get(myurl).then(
        function (res) {
            if(res.data.message=='data'){
                $scope.isisshowresult = true; //显示表格查询结果
                // $scope.searchdata = res.data;
                $scope.initPageSort(res.data.result)
            }else {
                window.location.href=res.data.result;
            }


        },function (err) {
            $scope.msg = err.data;
        });
};cript

 $scope.showSearch = function () {
        $scope.isShow = true;
        $scope.isisshowresult = false;

        // 再次回到查询页面时，表单里要保证都空的
        $scope.title1=undefined;
        $scope.title2=undefined;
        $scope.selectTitle='AND';
        $scope.content1=undefined;
        $scope.content2=undefined;
        $scope.selectContent='AND';
        $scope.sorttime=undefined;
    };

    $scope.logout = function () {

        // $http.get().then();

        $http.get("/users/logout").then(
            function (res) {
                window.location.href=res.data.result;

            },function (err) {
                $scope.msg = err.data;
            }
        );

    };

分页

 $scope.first = function () {
        $scope.selectPage(1);};
    $scope.last = function () {
        $scope.selectPage($scope.pages);};

第一页示例

标题作者关键词链接发布日期
火箭CEO宣布本赛季结束将正式辞职珅葳布朗 火箭 休斯顿火箭队火箭CEO宣布本赛季结束将正式辞职_NBA_新浪竞技风暴_新浪网2021年04月24日 07:38 
火箭主帅称小波特违反健康安全协议将缺席三场珅葳休斯顿火箭队 奥古斯丁 凯文火箭主帅称小波特违反健康安全协议将缺席三场_NBA_新浪竞技风暴_新浪网2021年04月22日 06:36
火箭终于跌至联盟最后一名！离状元签又近一步汉堡火箭 状元签 森林狼队火箭终于跌至联盟最后一名！离状元签又近一步_NBA_新浪竞技风暴_新浪网2021年04月17日 10:44
火箭19连败！东部垫底队也输 12场分差达2位数罗森火箭 活塞 NBA火箭19连败！东部垫底队也输 12场分差达2位数_NBA_新浪竞技风暴_新浪网2021年03月20日 11:01
火箭替补席扎心一幕太惨了！15连败谁来拯救？Emily火箭 爵士 NBA火箭替补席扎心一幕太惨了！15连败谁来拯救？_NBA_新浪竞技风暴_新浪网2021年03月13日 14:00

四、图表

1.柱状图

$scope.histogram = function () {
        $scope.isShow = false;
        $http.get("/news/histogram")
            .then(
                function (res) {

                    if(res.data.message=='url'){
                        window.location.href=res.data.result;
                    }else {

                        // var newdata = washdata(data);
                        let xdata = [], ydata = [], newdata;

                        var pattern = /\d{4}-(\d{2}-\d{2})/;
                        res.data.result.forEach(function (element) {
                            // "x":"2020-04-28T16:00:00.000Z" ,对x进行处理,只取 月日
                            xdata.push(pattern.exec(element["x"])[1]);
                            ydata.push(element["y"]);
                        });
                        newdata = {"xdata": xdata, "ydata": ydata};

                        var myChart = echarts.init(document.getElementById('main1'));

                        // 指定图表的配置项和数据
                        var option = {
                            title: {
                                text: '新闻发布数 随时间变化'
                            },
                            tooltip: {},
                            legend: {
                                data: ['新闻发布数']
                            },
                            xAxis: {
                                data: newdata["xdata"]
                            },

                            yAxis: {},
                            series: [{
                                name: '新闻数目',
                                type: 'bar',
                                data: newdata["ydata"]
                            }]
                        };
                        // 使用刚指定的配置项和数据显示图表。
                        myChart.setOption(option);
                    }
                },
                function (err) {
                    $scope.msg = err.data;
                });

    };

在这里插入图片描述

2.词云

$scope.wordcloud = function () {
        $scope.isShow = false;
        $http.get("/news/wordcloud").then(
            function (res) {
                if(res.data.message=='url'){
                    window.location.href=res.data.result;
                }else {
                    var mainContainer = document.getElementById('main1');

                    var chart = echarts.init(mainContainer);

                    var data = [];
                    for (var name in res.data.result) {
                        data.push({
                            name: name,
                            value: Math.sqrt(res.data.result[name])
                        })
                    }

                    var maskImage = new Image();
                    maskImage.src = './images/logo.png';

                    var option = {
                        title: {
                            text: '所有新闻内容 jieba分词 的词云展示'
                        },
                        series: [{
                            type: 'wordCloud',
                            sizeRange: [12, 60],
                            rotationRange: [-90, 90],
                            rotationStep: 45,
                            gridSize: 2,
                            shape: 'circle',
                            maskImage: maskImage,
                            drawOutOfBound: false,
                            textStyle: {
                                normal: {
                                    fontFamily: 'sans-serif',
                                    fontWeight: 'bold',
                                    // Color can be a callback function or a color string
                                    color: function () {
                                        // Random color
                                        return 'rgb(' + [
                                            Math.round(Math.random() * 160),
                                            Math.round(Math.random() * 160),
                                            Math.round(Math.random() * 160)
                                        ].join(',') + ')';
                                    }
                                },
                                emphasis: {
                                    shadowBlur: 10,
                                    shadowColor: '#333'
                                }
                            },
                            data: data
                        }]
                    };

                    maskImage.onload = function () {
                        // option.series[0].data = data;
                        chart.clear();
                        chart.setOption(option);
                    };

                    window.onresize = function () {
                        chart.resize();
                    };
                }

            });
    }

});

3.折线图

$scope.line = function () {
        $scope.isShow = false;
        $http.get("/news/line").then(
            function (res) {
                if(res.data.message=='url'){
                    window.location.href=res.data.result;
                }else {
                    var myChart = echarts.init(document.getElementById("main1"));
                    option = {
                        title: {
                            text: '"火箭"该词在新闻中的出现次数随时间变化图'
                        },
                        xAxis: {
                            type: 'category',
                            data: Object.keys(res.data.result)
                        },
                        yAxis: {
                            type: 'value'
                        },
                        series: [{
                            data: Object.values(res.data.result),
                            type: 'line',
                            itemStyle: {normal: {label: {show: true}}}
                        }],

                    };

                    if (option && typeof option === "object") {
                        myChart.setOption(option, true);
                    }
                }

            });
    };

4.饼图

饼图可能因为浏览器原因加载不出来

$scope.pie = function () {
        $scope.isShow = false;
        $http.get("/news/pie").then(
            function (res) {
                if(res.data.message=='url'){
                    window.location.href=res.data.result;
                }else {
                    let newdata = [];

                    var pattern = /./;//匹配名字
                    res.data.result.forEach(function (element) {
                       // "x":  责任编辑：李夏君 ,对x进行处理,只取 名字
                      newdata.push({name: pattern.exec(element["x"])[1], value: element["y"]});
                    });

                    var myChart = echarts.init(document.getElementById('main1'));
                    var app = {};
                    option = null;
                    // 指定图表的配置项和数据
                    var option = {
                        title: {
                            text: '作者发布新闻数量',
                            x: 'center'
                        },
                        tooltip: {
                            trigger: 'item',
                            formatter: "{a} <br/>{b} : {c} ({d}%)"
                        },
                        legend: {
                            orient: 'vertical',
                            left: 'left',
                            // data: ['直接访问', '邮件营销', '联盟广告', '视频广告', '搜索引擎']
                        },
                        series: [
                            {
                                name: '访问来源',
                                type: 'pie',
                                radius: '55%',
                                center: ['50%', '60%'],
                                data: newdata,
                                itemStyle: {
                                    emphasis: {
                                        shadowBlur: 10,
                                        shadowOffsetX: 0,
                                        shadowColor: 'rgba(0, 0, 0, 0.5)'
                                    }
                                }
                            }
                        ]
                    };
                    // myChart.setOption(option);
                    app.currentIndex = -1;

                    setInterval(function () {
                        var dataLen = option.series[0].data.length;
                        // 取消之前高亮的图形
                        myChart.dispatchAction({
                            type: 'downplay',
                            seriesIndex: 0,
                            dataIndex: app.currentIndex
                        });
                        app.currentIndex = (app.currentIndex + 1) % dataLen;
                        // 高亮当前图形
                        myChart.dispatchAction({
                            type: 'highlight',
                            seriesIndex: 0,
                            dataIndex: app.currentIndex
                        });
                        // 显示 tooltip
                        myChart.dispatchAction({
                            type: 'showTip',
                            seriesIndex: 0,
                            dataIndex: app.currentIndex
                        });
                    }, 1000);
                    if (option && typeof option === "object") {
                        myChart.setOption(option, true);
                    }
                    ;
                }
            });
    };

漫天星的老巢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python大作业——爬虫+可视化+数据分析+数据库（数据分析篇）
2401_84009579的博客
04-21 1000
png)
Python爬虫大作业+数据可视化分析（抓取python职位）
weixin_68789096的博客
06-12 4136
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。爬取到的信息是很多，需要用正则表达式进行匹配，一个工作岗位有：8个属性，我只爬取职位名称、公司名称、公司链接、工资、工作地点、是否是实习、员工待遇。光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。可以应用于爬虫、web前端开发、后端开发、数据分析、人工智能、自动化测试等领域。
python爬虫大作业
m0_57832412的博客
12-31 1万+
Python爬虫大作业 一、大作业要求 结合所选专业方向（信息处理、嵌入式、人工智能、大数据处理），用所学Python技术设计并实现一个与专业方向技术相关的、功能完整的系统，并撰写总结报告。 实现要求： （1）实现时必须涵盖以下技术： 图形界面、 多线程、 文件操作、 数据库编程、 网页爬虫、 异常处理。 缺一不可。少一项则直接影响是否及格。 同时还可结合具体系统功能，使用其它扩展库进行实现。如统计绘图、机器学习等。 举例： A方向可侧重于应用系统，结合爬虫丰富系统功能，提升用户体验。 B方向如果结合硬件
爬虫+数据分析+可视化大作业：基于大数据的高质量电影分析报告
热门推荐
r643064456的博客
07-30 1万+
在我们的日常生活中，电影已经成为了我们娱乐放松活动所不可缺少的元素。然而，自电影诞生以来，人们每天都在生产着电影，却又生产着质量良莠不齐的电影。在这些几乎是无穷无尽的电影洪流中，如何挑选一部高质量电影，成为了电影爱好者乃至平民百姓的首要问题。与此同时，作为电影拍摄团队，如何从高质量电影中找到共性，从而把握大体方向，是拍摄出传世经典的重要保证。 鉴于此，一份高质量电影的分析报告是有必要的。本文以豆瓣评分为标准，用Scrapy爬虫框架爬取豆瓣TOP250网页，再用Pandas,Numpy三方库进行数据处理，提取
Python大作业-网络爬虫程序
XiuMu的博客
07-22 1万+
本文章介绍了一个Python大作业(课程设计)-网络爬虫程序，爬取“Bangumi-我看过的动画”，文章详细展示了程序功能及程序代码。
爬虫大作业1
08-03
2.1 爬取数据 3 2.2 清洗数据 3 2.3 处理数据 3 2.4 分析数据 3 3.1 软件开发环境 3 3.2 总体结构 3 4.2 数据处理 7 4
python爬虫大作业报告+代码
12-30
（1）实现时需要至少使用图形界面、多线程、文件操作、数据库编程、网页爬虫、统计 分析并绘图（或数据挖掘）六项技术，缺一不可。少一项则直接影响是否及格。 （2）系统要具有一定复杂度。应用系统的业务流程不能...
python爬虫大作业爬取豆瓣影评
09-15
第三步：生成词云，将text进行分词，使用plt库展示图片，保存到文件。 第四步：打开或创建数据库文件，执行sql语句，提交数据库操作，关闭数据库连接，即成功建表。 第五步：将获取到的数据，保存到xls表格，并保存...
爬虫大作业bySixdb.rar
01-20
1. 分别爬取京东和淘宝，在手机频道中找出累积销量最高的20款手机，以直方图的形式展示手机型号及其销量，按照销量倒排序 2. 用爬取的数据作散点图，横轴为手机价格，纵轴为该价格对应的商家个数，两个子图分别展示...
基于python的网络爬虫爬取天气数据及可视化分析python大作业，课程设计报告
06-13
基于python的网络爬虫爬取天气数据及可视化分析 python程序设计报告 源代码+csv文件+设计报告...python期末简单大作业（自己写的，重复率低） 利用python爬取了网站上的城市天气，并用利用可视化展示，有参考文献有目录
Python大作业--爬虫（完美应付大作业）.zip
05-29
Python大作业--爬虫（完美应付大作业），Python大作业--爬虫（完美应付大作业）。 Python大作业：微信爬虫 程序功能：爬取指定公众号的微信文章标题、作者、链接、图标文件，暂不支持保存成pdf（时间有限，保存完整网页为pdf难度有点高） 接口说明： 仅提供一个对外接口spider(self,count=10,offset=-10)，调用接口便会通过交互操作读取所需信息，需要输入fiddler抓取的请求头 接口第一个参数是步进，代表每次请求的推送的条数，offset代表偏移量（第一条数据的偏移量） 接口返回四个数据，依次为：采集的数据（以包含字典的列表形式），当前offset，当前count，采集是否成功 程序说明： 程序会自动生成CSV文件并转换格式以免中文在Excel中出现乱码，同时会在./image下保存所有的文章图标，命名为$id.png，ID为程序内部使用的ID，对应CSV表格中第一列的ID 如果被封IP或服务器返回任何异常，则程序会自动保存当前进度，然后记录当前偏移量和步进，过一段时间后可以重新打开程序并选择加载配置，继续抓取 程序的输出是 输出.csv
b站爬虫大作业（大二）--（利用selenium模块爬取数据、利用pyecharts模块制作可视化图表）（bilibili数据可视化）
最新发布
m0_74282695的博客
11-07 2794
要注意的是：在爬取的过程中，需要我们实时加载页面，因为页面如果不加载，数据就无法被系统检测到，会导致程序卡死，这个时候我们大概率只能重新来过，如果你看懂了代码，稍微修改一下就能够实现在对应的地方继续爬虫或者重复爬虫。
爬虫综合大作业
aichengxie9643的博客
05-06 136
本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据：newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一、把爬取的内容保存到数据库 保存到sqlite3数据库 import sqlite3 with...
python爬取网页内容大作业_【大数据应用技术】作业八｜爬虫综合大作业（下）...
weixin_39720662的博客
11-30 1054
前言本次作业是爬取拉勾网python相关岗位的信息，通过爬取岗位id、城市、公司全名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限等数据并对其进行数据分析从而得出相应结论。网页爬虫1.代理IP在爬取数据之前我们可以考虑使用代理ip进行爬取，所以这里我写了一段代码检测ip的有效性，这里我使用的是西刺免费代理ip进行测试。不过在测试中我发现可用的免费代理ip少之又少，并且...
python爬虫大作业爬多少数据_爬虫大作业
weixin_39609620的博客
11-30 1346
爬虫大作业：1.选一个自己感兴趣的主题（所有人不能雷同）。2.用python 编写爬虫程序，从网络上爬取相关主题的数据。3.对爬了的数据进行文本分析，生成词云。4.对文本分析结果进行解释说明。5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。6.最后提交爬取的全部数据、爬虫及数据分析源代码。爬虫大作业爬取的网站：http://sports.sina.com.cn/n...
几个非常适合新手练习python爬虫的网页，总有一款能搞定！
weixin_33967071的博客
06-06 5111
2019独角兽企业重金招聘Python工程师标准>>> ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值