携程问答,马蜂窝,百度知道基于每周四爬取数据量分析
由于业务需求,10月份上线了新的爬虫业务需求,爬取链接如下:https://zhidao.baidu.com/http://www.mafengwo.cn/wenda/https://you.ctrip.com/asks/输入相关业务相关热词,抓取对应的问题和答案,问题和答案的内容分析,因涉及公司业务不便分享,现就数据量的分析。百度知道数据需求:若该热词搜素的结果大于5页,则爬取前5...
原创
2019-11-01 17:59:08 ·
224 阅读 ·
0 评论