nodejs随笔（三）

关于.gitingore

克隆到本地

git clone https://github.com/ycvcb123/anyDoor.git

.gitingore规则

1. #注释，*任意匹配，!取反， /**/任一级目录
2. git不会上传空目录，想要上传空文件夹，在该文件夹下建立.gitkeeper

node爬虫

技术栈 cheerio ,puppeteer

1. cheerio: 将抓取的html直接转化为jquery对象，可以直接对获取信息进行DOM操作。
2. puppeteer: Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。

puppeteer

api文档地址 https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

const puppeteer = require('puppeteer');
const { screenshot } = require('./config/default');
(async () => {
    //{headless: false} 配置为false 会自动打开浏览器
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto('http://baidu.com');
    await page.screenshot({
        path: `${screenshot}/${Date.now()}.png`
    });
    await browser.close();
})()
复制代码

config/default

const path = require('path');

module.exports = {
    screenshot: path.resolve(__dirname, '../screenshot')
}
复制代码

1. page.$(selector) 获取单个元素
2. page.$$(selector) 获取元素列表