使用腾讯云TCB云函数抓取微信情报信息

本文是 puppeteer 在云函数中的简单应用,主要功能为爬取网站上最新的微信产品相关信息。数据来源为新榜资讯。

# 程序思路

使用 puppeteer 打开新榜资讯 后点击微信 tab 等待内容加载,获取列表区的微信资讯。

# 核心代码

index.js

'use strict';
const puppeteer = require('puppeteer')

exports.main = async (event, context) => {
  const browser = await puppeteer.launch({
    headless: true,
    args: ['--no-sandbox', '--disable-setuid-sandbox'],
    dumpio: false,
  })
  const page = await browser.newPage()
  page.setUserAgent(
    'Mozilla/5.0 (Linux; Android 10; Redmi K30 Pro Build/QKQ1.191117.002; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/78.0.3904.62 XWEB/2581 MMWEBSDK/200801 Mobile Safari/537.36',
  )
  await page.goto('https://www.newrank.cn/public/news.html?#', {
    waitUntil: 'networkidle0',
  })

  await page.click('.media-tags-more .row:last-child .float-left span:first-child')
  await page.waitFor(200)
  const wxInfoList = await page.evaluate(() => {
    const elements = Array.from(document.querySelectorAll('.media-main-left-news-list li'))
    return elements.map(s => {
      let a = s.getElementsByTagName('h3').item(0).getElementsByTagName('a').item(0)
      let txt = a.innerHTML
      let url = a.getAttribute('href')
      return { title: txt, url: url }
    })
  })
  await browser.close()
  return {list:wxInfoList}
}

# HTTP访问

HTTP访问服务地址http://tcb.xuedingmiao.com/wx_news

# 返回结果

# 参考资料

微信开发提供了 WebSocket 函数的部署服务,可以方便地搭建 WebSocket 服务器。 以下是部署 WebSocket 服务器的步骤: 1. 在微信公众平台申请开通开发功能,并创建一个开发环境。 2. 在开发控制台中,创建一个函数。选择“WebSocket 函数”类型,并命名为“websocket-server”。 3. 在“websocket-server”函数的代码编辑器中,将以下代码复制进入: ```javascript const io = require('socket.io')(process.env.TCB_SOCKET_SERVER_SDK_SERVER_URL); exports.main = async (event, context) => { console.log('event:', event); console.log('context:', context); const { WebSocketServer } = require('ws'); const wss = new WebSocketServer({ port: 3000 }); wss.on('connection', function connection(ws) { console.log('client connected!'); ws.on('message', function incoming(message) { console.log('received: %s', message); ws.send(`server received: ${message}`); }); }); console.log(`websocket server is listening on port ${wss.options.port}`); return { code: 0, message: `websocket server is listening on port ${wss.options.port}` }; } ``` 4. 点击“部署”按钮,等待函数部署完成。 5. 在微信公众平台开发者工具中,创建一个新项目,并选择“开发快速启动模板”。 6. 进入项目根目录,创建一个名为“websockets.js”的文件,并将以下代码复制进入: ```javascript const socket = require('socket.io-client')(process.env.TCB_SOCKET_SERVER_SDK_CLIENT_URL); socket.on('connect', () => { console.log('connected to websocket server.'); }); socket.on('event', data => { console.log('event:', data); }); socket.on('disconnect', () => { console.log('disconnected from websocket server.'); }); socket.emit('message', 'hello'); socket.on('message', message => { console.log('received:', message); }); ``` 7. 在开发者工具中,右键点击“cloudfunctions”文件夹,选择“创建函数文件夹”。输入名称“websocket-server”。 8. 将“websockets.js”文件放入“websocket-server”文件夹中。 9. 点击“上传并部署”按钮,等待函数部署完成。 10. 在开发者工具中,点击“工具”菜单,选择“启动 WebSocket 调试服务”。等待启动完成后,点击“打开调试页面”按钮。 11. 在调试页面中,查看控制台输出,确认 WebSocket 连接成功,并能收到服务器发送的消息。 至此,WebSocket 服务器的部署就完成了。你可以在客户端中使用 socket.io 连接到服务器,进行实时通信。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

薛定喵君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值