- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 websect的局限性
websect这几天一直在完善 websect的功能，现在基本上可以说websect的功能是比较完善的了，爬取网页的速度比 cheerio还要快，经过这几天的爬取测试，同时也发现了websect的局限性如果一个网页，全是使用div来书写，那么websect对于这种网页无能为力，不止这样，cheerio也无能为力，那么有解决办法吗？有，但是解决办法的效率不高，这一点很重要，那有没有效率更高的解...
2019-11-29 09:48:34
211
原创 websect的ReadME.md
websect的原理websect 实际上就是一个处理 html字符串的方法，可以把 html字符串解析成dom形式，这里的dom并不是想浏览器里真正的dom，而是一个dom解析的js对象，举个例子：const $ = require("websect")var s = `<p class="title" id="title">hello world</p>`v...
2019-11-26 10:43:19
188
原创 websect爬取自己csdn的所有博客
websect今天就来爬去一下自己的csdn里边所有的博客2333首先下载 websectnpm i websect首先来分析数据的格式，基本如下：文章的地址href，是不是原创type，标题title，内容简介content，发表时间date，和阅读数read_num，基本上就这6个数据const $ = require("websect")$.get("https...
2019-11-26 09:26:50
160
原创 websect爬取小米官网数据
websect首先下载websectnpm I websect还是老规矩，爬取小米官网的数据QAQ，不过这一个不一样，要爬取的是这个：现在使用 websect 进行数据的爬取：const $ = require("websect")$.get("https://www.mi.com").then(data=>{ var old = Date.now()...
2019-11-24 23:40:03
1287
原创 websect爬取小米官网数据
webesct首先要下载webesctnom i websect老规矩，还是爬取小米官网的数据QAQ，现在要爬取的是这个：const $ = require("websect")const fs = require("fs")// const cheerio = require("cheerio")$.get("https://www.mi.com").then(da...
2019-11-24 23:15:43
1271
原创 websect使用教程
websect上一篇已经讲了find的多级搜索，现在讲讲另外一个函数，info()info() 的作用是过滤所有的标签，然后获取文本看看这个例子：假设有一个html字符串：var s = `<div class="container"> <ul class="slider"> <li class...
2019-11-23 15:28:56
213
原创 websect使用教程
websect上一篇讲了有关websect的几个重要的函数，find(),each(),attr(),text()，对于find函数只讲了他的一级搜索，接下来讲一讲二级搜索和三级搜索，还有就是另外一个函数info()函数的使用find() 的二级搜索我平常比较喜欢使用小米的官网进行数据爬取的测试，为什么，因为小米官网的地址比较短2333，现在有下面这个场景：我想获取这些数据，首先要...
2019-11-23 15:15:11
259
原创 websect的使用教程
websect下载npm i websect概念说明内部原理实际上就是html字符串的解析，但是 websect 会找到指定的dom并进行解析，这里的dom实际上并不是浏览器里面的真实dom，而是类似于js对象的虚拟domfind() 函数的使用var $ = require("websect")var s = `<h1>hello world</h1>...
2019-11-22 21:51:35
442
原创 介绍websect
websectwebsect是我写的专门用来爬取网页信息数据的工具，里面的API设计和原生的操作dom的API一样，可能你会说，不是已经有cheerio了嘛，不过这个更快，websect的信息爬取速度比cheerio更快，话不多说，直接进入正题：下载npm i websect相关链接https://www.npmjs.com/package/websecthttps://...
2019-11-22 15:55:15
305
原创 monto的模型对象
monto的模型对象上一次说到了monto直接对数据库的增删改查，现在讲讲，monto的模型对象和mongoose一样，monto我也设计了模型对象，用来约束插入到表中的数据，好让数据具有自己制定的格式，话不多说，进入正题：连接数据库// 连接数据库const monto = require("monto")const db = monto("mongodb://localhost...
2019-11-16 09:07:46
181
原创 monto的使用
monto首先要说说monto，谐音馒头，比较好记也比较有意思，这实际上是我写的一个工具，用于处理mongodb数据库的，在nodejs里面使用monto来处理mongodb，可能你会说，不是已经有mongoose了吗，但是呢，我有一个不太喜欢mongoose的一个点，那就是他的模型对象，每次访问数据库都要创建一个模型对象，真的很烦实话说，相比之下我感觉原生的mongodb操作挺好的，但是唯一...
2019-11-15 21:50:53
214
原创 将base64编码转化成图片
sofer处理媒体文件sofer下载：npm i sofersofer源代码地址：https://github.com/shataniya/sofer使用 sofer搭建服务器// server.jsconst sofer = require("sofer")const server = new sofer()server.use(sofer.cors("n...
2019-11-03 15:39:00
1630
原创 将base64编码转换成图片
将base64编码转换成图片有时候会遇到要把前端发送过来的图片的文件base64编码转化成图片，我看过了大部分的文章，他们都是使用new Buffer来实现转化的，但是你要知道，new Buffer已经被废弃了，下面是我的方法：先获取图片的base64编码可以使用FileReader，像这样：<!-- test.html --><!DOCTYPE html>...
2019-11-03 15:20:26
70650
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人