爬虫puppeteer 安装及入门

headless-chrome貌似在爬虫方面成了主流,它击败了phantomJS而成功登顶。关于js数据渲染后的数据,我用个selenium, 用过scrapy-splash. 但是还没用过这个,很想尝试一下前端是怎么做的,虽然有pyppeteer的版本,但是我还是决定用puppeteer来做(js版本)

centos 部署

直接参考github puppeteer 即可,我的方式是

# 创建一个项目,切进去,然后执行
npm init   # 这里要确保安装了node. 
npm install puppeteer 
# 之后可能还得安装中文的字体。参考下面中文文字变成方框的解决方法

也可以部分参考: https://juejin.im/post/5bbc96785188255c72286403

这里记录一下出现的问题 中文文字变成方框的问题。

https://fbd.intelleeegooo.cc/install-chinese-font-on-centos/

puppeteer 中文文档
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值