- 博客(7)
- 收藏
- 关注
RSS订阅原创 nodejs爬虫大作业项目
第一个爬虫项目完成后，在mysql已经有了一张表格存储爬取到的三个网站的数据。现在大作业要求如下： 首先要对这个过程中使用的一些包进行安装，也就是在项目文件的终端中输入 npm install 将安装所有依赖的node modules。 但是在安装过程中出现了无法安装nodejieba的问题，于是我去网上搜索了相关的安装nodejieba的方法，进行了相应的操作后又出现如下的问题：（由于过程中没有及时的截图保存错误情况，所以报错页面只有下面这一张） 这一长串的报错看的我眼花缭乱，但是至少能大概看出似乎我
2020-06-29 12:49:39
569
1
原创 JS爬取新闻内容——初学者的历程（六）
今天老师又发出了关于项目的示例代码。这次的代码对于如何输入标题关键词查询数据库已爬取内容进行了示例。 在我之前的尝试中，我是通过js代码先使得服务器连接mysql然后进行相应的操作。在运行时需要在命令行种运行服务器，然后再再网站中进行操作。 但是这次老师给出的效果就是高出一个档次的那种。 首先通过express脚手架搭建一个search_site文件夹如下： 然后将之前写好的mysql.js放到...
2020-04-17 21:26:27
314
原创 JS爬取新闻内容——初学者的历程（五）
在完成了搜索功能后，要开始尝试上次助教所说的一个网页同时具备爬虫和搜索的功能。对于这一点我作了如下的构想： 我的网页主页是一个搜索页面也就是前面已经做好的页面，然后在此基础上用CSS对页面进行美化同时加上一栏导航栏。导航栏中由主页、新闻爬取、关于这三项组成。 其中新闻爬取会打开一个新的网页其中会有三个按钮来触发爬虫（分别对应三个网站）。然后关于中会打开一个新的网页其中以文字形式附相关代码及说明。 ...
2020-04-14 23:31:24
352
原创 JS爬取新闻内容——初学者的历程（四）
昨天大致做出了搜索功能的大致框架。但是不得不说，显示的搜索结果都不带换行，看起来就挤在一起就像乱码一样，非常的杂乱。所以就想着能不能在搜索结果的每一行加上换行符。 上网搜了些关于JSON.stringify的资料，看到原来它的完整语法应该是： 然后三个参数的具体描述如下： 注意到space参数的效果，我觉得就是要在这个参数上做手脚。 首先由于我不是很清楚具体的数据库结果的分行情况（因为他是每行...
2020-04-14 21:31:56
195
原创 JS爬取新闻内容——初学者的历程（三）
上次已经对数据库连接和服务器的搭建有了一定的认识了。这次其实就是简单的对这两个进行一定的结合。说白了就是把两个代码尝试着混到一块儿。 这是原来学习时候给出的代码。这里是为了响应并返回输入的title和author，现在我是要输入keyword，然后返回的是我得到的数据库内容。 所以对以上代码要进行很多的修改。 首先当然要把数据库连接的代码加上去。然后第二个app.get中的内容要修改。这里我们不...
2020-04-13 21:51:46
226
原创 JS爬取新闻内容——初学者的历程（二）
经过上次的两个新闻网页的爬虫实践，积累了一定的经验和技巧后，对后续的网页爬虫也是相对轻松了不少。然后第三个网页我选择了人民网（因为人民网的网页结构相对比较简单）。然后也是附相关代码如下： 由于自己这方面的能力不强，所以就先爬取这三个网页。开始下一步操作：制作网页。 一开始我以为html+js是一个非常简单的操作，只要如下这样的办法就可以轻松做到 所以我觉得这个事情没有那么困难，但是实际...
2020-04-13 21:28:15
262
1
原创 JS爬取新闻内容——初学者的历程（一）
新的学期开设了一门web编程课，第一个实验项目如下： 作为一个js小白，真的不知道从何下手。没有系统的学习过这一门语言，所以语法什么的真的是什么都不知道。虽然老师对爬虫项目的代码进行了示例，但是不得不说，很多东西发出来了也看不懂。只能在不断地摸索中进一步思考每一步的作用和写法。特别是对网页中内容进行爬取时候的正则表达式，由于每个网页的具体内容和形式不同，所以表达式有各有不同，所以真的看得...
2020-04-09 10:26:39
674
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人