自己写的框架
傻她你呀
这个作者很懒,什么都没留下…
展开
-
如何快速下载哔哩哔哩番剧
如何快速下载哔哩哔哩番剧使用工具:ibili下载方法:npm i ibili比如要下载 群居姐妹 这部番剧,可以这样:const ibili = require('ibili')ibili.downloadVideo({ // 番剧的地址 url:'https://www.bilibili.com/bangumi/media/md2614/?from=search&...原创 2020-01-01 08:44:33 · 6091 阅读 · 1 评论 -
获取哔哩哔哩的视频评论
获取哔哩哔哩的视频评论使用工具:ibili下载方式:npm i ibili话不多说,现在我要获取 周杰伦告白气球MV 的视频评论,地址如下:https://www.bilibili.com/video/av15227278?from=search&seid=7509419184498080735以下是爬取代码:const ibili = require("...原创 2019-12-17 08:08:12 · 1029 阅读 · 0 评论 -
使用javascript爬取哔哩哔哩的视频弹幕
请点击我进行跳转或者访问一地址:https://blog.csdn.net/qq_41672008/article/details/103530229原创 2019-12-15 16:26:34 · 504 阅读 · 0 评论 -
使用nodejs爬取哔哩哔哩的视频弹幕
请点击我进行跳转或者访问一下地址:https://blog.csdn.net/qq_41672008/article/details/103530229原创 2019-12-15 16:24:59 · 1055 阅读 · 0 评论 -
教你快速爬取哔哩哔哩整部番剧的视频弹幕
快速爬取哔哩哔哩整部番剧的视频弹幕使用工具:ibili下载方式:npm i ibili为了进行测试,现在我打算爬取 刀剑神域 Alicization 的整部番剧的视频弹幕首先为了获取整部番剧的视频弹幕,需要知道一些必要的参数,第一个参数url是这部番剧的第一集的播放地址,即https://www.bilibili.com/bangumi/play/ep250536然后要知道这...原创 2019-12-15 10:52:56 · 1632 阅读 · 0 评论 -
ibili的使用教程
ibili这是一个专门用来下载哔哩哔哩视频和弹幕的工具库有以下功能:函数名功能loadbarrage爬取视频弹幕downloadVideo下载视频loadbarrage参数类型说明optstring如果opt是av号,那么会根据av号获取视频弹幕,如果opt是视频的播放地址(url),那么会根据视频的播放地址获取视频弹幕...原创 2019-12-13 00:19:57 · 1472 阅读 · 0 评论 -
websect的局限性
websect这几天一直在完善 websect的功能,现在基本上可以说websect的功能是比较完善的了,爬取网页的速度比 cheerio还要快,经过这几天的爬取测试,同时也发现了websect的局限性如果一个网页,全是使用div来书写,那么websect对于这种网页无能为力,不止这样,cheerio也无能为力,那么有解决办法吗?有,但是解决办法的效率不高,这一点很重要,那有没有效率更高的解...原创 2019-11-29 09:48:34 · 221 阅读 · 0 评论 -
websect的ReadME.md
websect的原理websect 实际上就是一个处理 html字符串的方法,可以把 html字符串解析成dom形式,这里的dom并不是想浏览器里真正的dom,而是一个dom解析的js对象,举个例子:const $ = require("websect")var s = `<p class="title" id="title">hello world</p>`v...原创 2019-11-26 10:43:19 · 197 阅读 · 0 评论 -
websect爬取自己csdn的所有博客
websect今天就来爬去一下自己的csdn里边所有的博客2333首先下载 websectnpm i websect首先来分析数据的格式,基本如下:文章的地址href,是不是原创type,标题title,内容简介content,发表时间date,和阅读数read_num,基本上就这6个数据const $ = require("websect")$.get("https...原创 2019-11-26 09:26:50 · 169 阅读 · 0 评论 -
websect爬取小米官网数据
websect首先下载websectnpm I websect还是老规矩,爬取小米官网的数据QAQ,不过这一个不一样,要爬取的是这个:现在使用 websect 进行数据的爬取:const $ = require("websect")$.get("https://www.mi.com").then(data=>{ var old = Date.now()...原创 2019-11-24 23:40:03 · 1314 阅读 · 0 评论 -
websect爬取小米官网数据
webesct首先要下载webesctnom i websect老规矩,还是爬取小米官网的数据QAQ,现在要爬取的是这个:const $ = require("websect")const fs = require("fs")// const cheerio = require("cheerio")$.get("https://www.mi.com").then(da...原创 2019-11-24 23:15:43 · 1290 阅读 · 0 评论 -
websect使用教程
websect上一篇已经讲了find的多级搜索,现在讲讲另外一个函数,info()info() 的作用是过滤所有的标签,然后获取文本看看这个例子:假设有一个html字符串:var s = `<div class="container"> <ul class="slider"> <li class...原创 2019-11-23 15:28:56 · 223 阅读 · 0 评论 -
websect使用教程
websect上一篇讲了有关websect的几个重要的函数,find(),each(),attr(),text(),对于find函数只讲了他的一级搜索,接下来讲一讲二级搜索和三级搜索,还有就是另外一个函数info()函数的使用find() 的二级搜索我平常比较喜欢使用小米的官网进行数据爬取的测试,为什么,因为小米官网的地址比较短2333,现在有下面这个场景:我想获取这些数据,首先要...原创 2019-11-23 15:15:11 · 266 阅读 · 0 评论 -
websect的使用教程
websect下载npm i websect概念说明内部原理实际上就是html字符串的解析,但是 websect 会找到指定的dom并进行解析,这里的dom实际上并不是浏览器里面的真实dom,而是类似于js对象的虚拟domfind() 函数的使用var $ = require("websect")var s = `<h1>hello world</h1>...原创 2019-11-22 21:51:35 · 451 阅读 · 0 评论 -
介绍websect
websectwebsect是我写的专门用来爬取网页信息数据的工具,里面的API设计和原生的操作dom的API一样,可能你会说,不是已经有cheerio了嘛,不过这个更快,websect的信息爬取速度比cheerio更快,话不多说,直接进入正题:下载npm i websect相关链接https://www.npmjs.com/package/websecthttps://...原创 2019-11-22 15:55:15 · 312 阅读 · 0 评论 -
Use of sofer
A framework sofer that can quickly develop web serversdownloadnpm i soferInstructions// server.jsconst sofer = require("sofer")const server = new sofer()server.get("/index",function(ctx){ ct...原创 2019-10-30 22:40:13 · 163 阅读 · 0 评论