headless爬虫

什么是headless：
通俗的讲1.通过一行代码，启动一个chrome浏览器，打开某个网页
2.通过控制代码，让chrome浏览器做你任何想做的，包括抓取网页、截图、自定义测试等等，并把结果变成文件或者数据库数据保存
3.关闭浏览器
现在开始上代码（node运行环境）

const puppeteer = require('puppeteer');
(async() => {
    const browser = await puppeteer.launch({ 
    	executablePath: 'D:/object/chrome-win/chrome.exe',（文件路径引进去）
    	headless: false
     });
    const page = await browser.newPage();
    try {
        //await page.emulate(iPhone);

        await page.setViewport({
          'width': 375,
          'height': 667,
          'deviceScaleFactor': 2,
          'isMobile': true,
          'hasTouch': true,
          'isLandscape': false
        });
        await page.setUserAgent('Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X)
        AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1');
        var start = new Date().getTime();   
        var url = 'https://h5.m.taobao.com/app/paimai/www/detail/index.html?itemId=571893556840';
        await page.goto(url);
        const html = await page.content();
        console.log(html);
        await page.waitFor(10000);
    }
    finally {
        await browser.close();
    }
})();

在运行之前我们需要装一下puppeteer依赖。下载一个浏览器（可以百度一下）把文件的路径替换掉 然后就可以运行了 url就是你要爬取的页面路径
剩下的就是解析了html了（如何解析请看更新的下一篇文章）。