爬虫

本文介绍了爬虫的基本步骤,包括使用http/https模块获取网络资源,利用cheerio解析网页内容。讨论了同步异步问题,如回调地狱、Promise优化及async/await的使用。还提到了前端接口测试工具如Postman,并给出了爬虫作业,如下载网站资源。最后,简单讲解了cheerio的用法和Promise的状态管理。
摘要由CSDN通过智能技术生成

爬虫:
竞价排名 搜索引擎
1.获取相关的网页
2.根据网页获取内容信息

爬虫的步骤:
1.通过http 或者 https模块 获取网络资源(网页 记事本 图片 音频 视频)

http.get(url,(res)=>{
  let rawData=''
  res.on('data',(chunk)=>{
    <!-- 传递完一段数据就会触发 chunk 传递的每一段数据 -->
    rawData+=chunk
  })

  res.on('end',()=>{
    <!-- 数据传输完毕 -->
  })
})
.on('error',()=>{
})

2.分析内容 (正则表达式)
cheerio 获取网页的具体内容信息

同步异步问题

1.多个异步操作按照固定的顺序执行 -> 回调嵌套->回调地狱->promise的链式调用->async await(伪同步)优化promise的

框架 express来写api接口 koa egg
node 引入第三方模块 首先在当前文件夹寻找 node_modules
如果没有依次向上寻找 直到找到为止

api接口的构成:
ajax接口后端来写 前端来使用
ajax接口四要素:
1.接口地址url
2.请求方法
3.传递的字段(数据格式)
4.返回信息
前端:
1.传递数据 传给后端
2.处理后端的返回结果
后端:
1.接受前端传递的数据
2.处理数据

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值