2021-06-30

最新推荐文章于 2024-08-16 08:48:46 发布
最新推荐文章于 2024-08-16 08:48:46 发布
阅读量132 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yingmu_huadao/article/details/118353248
版权

web编程期末大作业

  • 作业要求
    在这里插入图片描述
    写在前面：注意不要删掉期中作业中数据库的数据，不然就要重新来一遍了
    -_-
    1.下载安装包
  • cmd中 npm install 安装所需要的node modules
  • 下载nodejieba模块
    我一开始直接下载的时候一直会显示fallback-to-build安装不成功
    这时，直接ctrlC终止下载，然后用了助教给的方法，最后成功了

2.建立两个mysql表
期中作业只需要建一个就好了，但这次要建两个
1）创建用户信息表

CREATE TABLE `crawl`.`user` (
  `id` INT UNSIGNED NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(45) NOT NULL,
  `password` VARCHAR(45) NOT NULL,
  `registertime` datetime DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `username_UNIQUE` (`username`))
ENGINE=InnoDB DEFAULT CHARSET=utf8;

2）记录用户的登录、查询操作

CREATE TABLE `crawl`.`user_action` (
  `id` INT UNSIGNED NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(45) NOT NULL,
  `request_time` VARCHAR(45) NOT NULL,
  `request_method` VARCHAR(20) NOT NULL,
  `request_url` VARCHAR(300) NOT NULL,
  `status` int(4),
  `remote_addr` VARCHAR(100) NOT NULL,
    PRIMARY KEY (`id`))
ENGINE=InnoDB DEFAULT CHARSET=utf8;

在这里插入图片描述

现在就可以创建一个新项目啦
3.连接数据库

module.exports = {
    mysql: {
        host: '127.0.0.1',
        user: 'root',
        password: 'root',
        database:'crawl',
        // 最大连接数，默认为10
        connectionLimit: 10
    }
};

4.注册与登录页面前端代码
1）申明需要的modules

var app = angular.module('login', []);

2）注册时检验用户输入的账号和密码是否一致

$scope.check_pwd = function () {
                var data = JSON.stringify({
                    username: $scope.username,
                    password: $scope.password
                });
                $http.post("/users/login", data)
                    .then(
                    function (res) {
                        if(res.data.msg=='ok') {
                            window.location.href='/news.html';
                        }else{
                            $scope.msg=res.data.msg;
                        }
                    },
                        function (err) {
                        $scope.msg = err.data;
                    });

            };

3)增加新用户

$scope.doAdd = function () {
                // 检查用户注册时，输入的两次密码是否一致
                if($scope.add_password!==$scope.confirm_password){
                    // $timeout(function () {
                    //     $scope.msg = '两次密码不一致！';
                    // },100);
                    $scope.msg = '两次密码不一致！';
                }
                else {
                    var data = JSON.stringify({
                        username: $scope.add_username,
                        password: $scope.add_password
                    });
                    $http.post("/users/register", data)
                        .then(function (res) {
                            if(res.data.msg=='成功注册！请登录') {
                                $scope.msg=res.data.msg;
                                $timeout(function () {
                                    window.location.href='index.html';
                                },2000);

                            } else {
                                $scope.msg = res.data.msg;
                            }
                        }, function (err) {
                            $scope.msg = err.data;
                        });

4)具体样式如下
在这里插入图片描述
5）登录页路由

var express = require('express');
var router = express.Router();
var userDAO = require('../dao/userDAO');

router.post('/login', function(req, res) {
  var username = req.body.username;
  var password = req.body.password;
  // var sess = req.session;

  userDAO.getByUsername(username, function (user) {
    if(user.length==0){
      res.json({msg:'用户不存在！请检查后输入'});

    }else {
      if(password===user[0].password){
        req.session['username'] = username;
        res.cookie('username', username);
        res.json({msg: 'ok'});
        // res.json({msg:'ok'});
      }else{
        res.json({msg:'用户名或密码错误！请检查后输入'});
      }
    }
  });
});


/* add users */
router.post('/register', function (req, res) {
  var add_user = req.body;
  // 先检查用户是否存在
  userDAO.getByUsername(add_user.username, function (user) {
    if (user.length != 0) {
      // res.render('index', {msg:'用户不存在！'});
      res.json({msg: '用户已存在！'});
    }else {
      userDAO.add(add_user, function (success) {
        res.json({msg: '成功注册！请登录'});
      })
    }
  });

});

// 退出登录
router.get('/logout', function(req, res, next){
  // 备注：这里用的 session-file-store 在destroy 方法里，并没有销毁cookie
  // 所以客户端的 cookie 还是存在，导致的问题 --> 退出登陆后，服务端检测到cookie
  // 然后去查找对应的 session 文件，报错
  // session-file-store 本身的bug

  req.session.destroy(function(err) {
    if(err){
      res.json('退出登录失败');
      return;
    }

    // req.session.loginUser = null;
    res.clearCookie('username');
    res.json({result:'/index.html'});
  });
});

module.exports = router;

注意这里对session 的设置
session的作用和cookies差不多，但session是保存在服务器中的
6）查询页面
通过ng-include将查询页面引到新闻页面

<span ng-hide="isShow" id="main1" style="width: 1000px;height:600px;position:fixed; top:70px;left:80px"></span>

<div ng-show="isShow" style="width: 1300px;position:relative; top:70px;left: 80px">
    <div ng-include="'search.html'"></div>

7）实现查询词支持布尔表达式

if(typeof title1=="undefined" && typeof title2!="undefined" && title2.length>0){
            title1 = title2;
        }
        if(typeof content1=="undefined" && typeof content2!="undefined" && content2.length>0){
            content1 = content2;
        }

8）查询页路由

$scope.search = function () {        
var title1 = $scope.title1;        
var title2 = $scope.title2;        
var selectTitle = $scope.selectTitle;        
var content1 = $scope.content1;        
var content2 = $scope.content2;        
var selectContent = $scope.selectContent;        
var sorttime = $scope.sorttime;        
if(typeof title1=="undefined" && typeof title2!="undefined" && title2.length>0){
            title1 = title2;        
            }        
if(typeof content1=="undefined" && typeof content2!="undefined" && content2.length>0){
            content1 = content2;        
            }        
var myurl = `/news/search?t1=${title1}&ts=${selectTitle}&t2=${title2}&c1=${content1}&cs=${selectContent}&c2=${content2}&stime=${sorttime}`;
http.get(myurl).then( function (res) {
	if(res.data.message=='data'){
		$scope.isisshowresult = true;
		$scope.initPageSort(res.data.result)}
	else {
		window.location.href=res.data.result;
		}},function (err) {$scope.msg = err.data;});    
	};

9）引入wordcut模块包，实现数据可视化

// 载入模块
// var nodejieba = require('nodejieba');
var Segmenter = require('node-analyzer');

//正则表达式去掉一些无用的字符，与高频但无意义的词。
const regex = /[\t\s\r\n\d\w]|[\+\-\(\),\.。，！？《》@、【】"'：:%-\/“”]/g;

var wordcut = function(vals) {
    var segmenter = new Segmenter();
    var word_freq = {};
    vals.forEach(function (content){
        var newcontent = content["content"].replace(regex,'');
        if(newcontent.length !== 0){
            // console.log();

            var words = segmenter.analyze(newcontent).split(' ');

            // var words = nodejieba.cut(newcontent);
            words.forEach(function (word){
                word = word.toString();
                word_freq[word] = (word_freq[word] +1 ) || 1;
            });
        };

    });
    return word_freq;
};
exports.wordcut = wordcut;

效果如下：
在这里插入图片描述
分页效果：
在这里插入图片描述
Echarts数据展示：
在这里插入图片描述
在这里插入图片描述
!](https://img-blog.csdnimg.cn/20210630151450574.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpbmdtdV9odWFkYW8=,size_16,color_FFFFFF,t_70)

在这里插入图片描述
好啦，大致就是这样啦
完结撒花 ：）

总结：相较于期中作业，期末大作业真的好难啊。我觉得我这个报告其实还有很多地方可以改进，比如说在前端的页面优化方面，学无止境啊~

yingmu_huadao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2021-06-30 记录一次redis-cluster测试的反馈
技术之路
06-30 349
摘要: 20210630-15:57分,测试组上报没有按测试预期完成failover， 本文记录问题分析及解决过程。 问题描述: 集群描述: cluster集群: 4主4从 测试组执行操作: 集群正确创建 172.16.0.12为master, 以下简称0.12 172.16.0.7是0.12节点的slave, 以下简称0.4 测试人员杀掉0.12的pod， 使0.12成为判定下线状态 测试人员启动0.12的pod，预期 0.7节点完成failove...
Nodejieba下载安装
Tang_Fanatic的博客
03-27 1491
Nodejieba下载安装
nodejieba安装使用
lucky的博客
03-02 9991
打开 github上的nodejieba项目，查看nodejieba的使用方法。 使用以下命令安装nodejieba npm install nodejieba 由于nodejieba的底层算法实现是C++，所以需要安装node-gyp来编译原生C++扩展模块。 npm install -g node-gyp 而node-gyp需要依赖环境，因此需要进行环境配置，在window系统上的配置方法有两种
探索泰国文本处理的新境界：wordcut，一款专为Node.js打造的泰语分词工具
gitblog_00099的博客
06-16 360
探索泰国文本处理的新境界：wordcut，一款专为Node.js打造的泰语分词工具 wordcutThai word breaker for Node.js项目地址:https://gitcode.com/gh_mirrors/wo/wordcut 项目介绍 在多语言处理的世界里，每一种语言都有其独特的挑战。对于那些致力于泰国市场或研究泰国语言的开发者而言，wordcut犹如一盏明灯。这是一款专...
Wordcut 中文分词工具使用教程
最新发布
gitblog_00436的博客
08-16 360
Wordcut 中文分词工具使用教程 wordcutThai word breaker for Node.js项目地址:https://gitcode.com/gh_mirrors/wo/wordcut 项目介绍 Wordcut 是一个基于词典的前缀扫描中文分词工具，适用于 Node.js 环境。它通过词典和前缀扫描技术，能够精确地对中文文本进行分词。与传统的基于机器学习的中文分词工具不同，Wo...
web编程项目
Lucky_7_7的博客
06-25 670
web编程项目 alter table user add column cond varchar(45) not null; update user set cond = "start";
XCKU0403FBVA676E-2021-06-30.PDF
11-08
XCKU0403FBVA676E-2021-06-30.PDF
ffmpeg-2021-06-30-git-de8e6e67e7-full_build.7z
07-13
ffmpeg程序包
00000.tcpdump.2021-06-30_10.21.09.cap
07-02
利用tcpdump分析RTMP推流网络包：握手、连接、推流
Screenshot_2021-12-13-19-12-28-441_com.sm.tiktoktool.jpg
12-14
Screenshot_2021-12-13-19-12-28-441_com.sm.tiktoktool.jpg
wordcut:一个基于词典的前缀扫描中文分词
04-29
wordcut 一个基于词典的前缀扫描中文分词 中文分词是很多文本分析的基础。最近一个项目，输入一个地址，需要识别出地址中包含的省市区街道等单词。与以往的分词技术不同。jieba/hanlp等常用的分词技术，除了基于词典，还有基于隐马尔科夫/条件随机场等机器学习技术对未登录词的分词，有一定的概率性。而我们所使用的地址识别，要求必须基于词库进行精确的分词。这些比较高级的分词技术反而成为了不必要的风险。 另外还有一个原因是，流行的分词技术对多用户词典和词典的动态管理支持也不是很好。本项目就实现了一个可以多词典间相互隔离的分词工具。 基于前缀词典树的中文分词概念简单。其中使用到的trie树/有向无环图（dag）/动态规划计算最长路径等算法，可以说是教科书一样的例子。所以我就自己实现了一遍，测试下来效果还不错。 算法是pom项目。测试用例如下。词典需放在resources目录下。 @Tes
[Codeforces 176B] Word Cut （脑洞+KMP+dp）
MisDeer's blog
08-22 337
Codeforces - 176B 给定一个 A串，每次可以将其从分为两个非空子串 然后交换这两个串的位置，得到一个新串 问这样操作 KK次以后得到 B串的方案数 实际上可以将 A串看成一个循环的串 每次切的操作实际上就是改变起始位置 并且相邻的两次起始位置不能相同比如 ababaab，我从第一个 b后面切开，就变成 abaab|ab 实际上只不过是换了一个起始位置而已 由
使用express-validator验证Express中的输入
cuk0051的博客
08-26 2035
Say you have a POST endpoint that accepts the name, email and age parameters: 假设您有一个POST端点，可以接受名称，电子邮件和年龄参数： const express = require('express') const app = express() app.use(express.json()) app.po...
Android判断两次输入密码是否相等并且不为空
Nobody_else_的博客
05-10 1万+
Android开发中，登录注册都是很常有的，注册时需要判断用户输入密码是否为空，两次输入密码是否一致，下面就简单地说说 xml文件 <?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" androi...
CF176B Word Cut（计数 dp）
ylxmf2005's Blog
02-20 350
Description 求经过 kkk 次将 SSS 划分成两部分并交换使 SSS 串变成 TTT 串的方案数并对 109+710^9 + 7109+7 取模。 2≤∣S∣≤1000,0≤k≤1052 \leq |S| \leq 1000, 0 \leq k \leq 10^52≤∣S∣≤1000,0≤k≤105 Solution 可以发现，每次可以将原串变为其他串，也可以从其他串变为原串。无论多...
CutWord-切词-开发中
KD的疯狂实验室
10-29 733
切词是什么？一款程序辅助学习英语的工具.具体功能通过提示单词构成让人较快掌握切词记忆这一方法。原理
MapReduce中wordcount详细介绍
universe_ant的博客
09-22 9982
1、MapReduce编程模型 MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解和结果的汇总”。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker。JobTracker用于
MapReduce WordCount 源码详细解析
热门推荐
khxu666的博客
06-21 2万+
MapReduce 基本的执行流程 与学习编程语言时采用“hello world”程序作为入门示例程序不同，在大数据处理领域常常使用“wordcount”程序作为入门程序。WordCount 程序是用来统计一段输入的数据中相同单词出现的频率。其基本的执行流程如下图所示： 一个基于MapReduce的WordCount程序主要由一下几个部分组成： 1、Split 将程序的输入数据进行切...
SELECT t1.id, t1.name, t2.total_sales FROM customers t1 LEFT JOIN ( SELECT customer_id, SUM(sales) total_sales FROM orders WHERE order_date BETWEEN '2021-01-01' AND '2021-06-30' GROUP BY customer_id ) t2 ON t1.id = t2.customer_id WHERE t1.city = 'New York' ORDER BY t2.total_sales DESC LIMIT 请提供比这条sql 更复杂的sql语句
06-07
以下是一个更复杂的 SQL 查询语句，它使用了多个子查询和窗口函数： WITH -- 定义一个子查询，获取销售额排名前10的产品 top_products AS ( SELECT product_id, SUM(sales) AS total_sales FROM orders WHERE order_date BETWEEN '2021-01-01' AND '2021-06-30' GROUP BY product_id ORDER BY total_sales DESC LIMIT 10 ), -- 定义一个子查询，获取销售额排名前10的客户 top_customers AS ( SELECT customer_id, SUM(sales) AS total_sales FROM orders WHERE order_date BETWEEN '2021-01-01' AND '2021-06-30' GROUP BY customer_id ORDER BY total_sales DESC LIMIT 10 ), -- 定义一个窗口函数，计算每个客户的销售额排名 customer_sales_rank AS ( SELECT customer_id, SUM(sales) AS total_sales, ROW_NUMBER() OVER (ORDER BY SUM(sales) DESC) AS sales_rank FROM orders WHERE order_date BETWEEN '2021-01-01' AND '2021-06-30' GROUP BY customer_id ) -- 最终查询，获取纽约市销售额排名前10的客户，以及他们购买的销售额排名前10的产品 SELECT customers.id AS customer_id, customers.name AS customer_name, products.id AS product_id, products.name AS product_name, SUM(orders.sales) AS total_sales FROM orders -- 连接顾客信息 INNER JOIN customers ON orders.customer_id = customers.id -- 连接产品信息 INNER JOIN products ON orders.product_id = products.id -- 仅查询纽约市的客户 WHERE customers.city = 'New York' -- 仅查询销售额排名前10的客户 AND customers.id IN (SELECT customer_id FROM top_customers) -- 仅查询销售额排名前10的产品 AND products.id IN (SELECT product_id FROM top_products) -- 仅查询客户销售额排名前10的订单 AND customers.id IN (SELECT customer_id FROM customer_sales_rank WHERE sales_rank <= 10) GROUP BY customers.id, customers.name, products.id, products.name ORDER BY customers.id, total_sales DESC, products.id;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值