- 博客(2)
- 收藏
- 关注
原创 一个可以根据给定根关键词采集Amazon.com的所推荐的长尾关键词的小爬虫
前言今天周末,国庆调班,闲来无事,就将以前所写的亚马逊搜索框所推荐的关键词采集工具,整理发布出来。整体来讲,是一个简单的小爬虫。因为小,所以都写在了一个模块中,一个模块分为五个方法来完成整个爬虫流程。网页下载方法网页解析方法解析结果存储至 txt 文件的方法整合网页下载,及存储至txt文件的方法main函数组织整个流程的方法主要内容一、所涉及到的类库import reque...
2019-09-29 11:52:36
1262
原创 一个可以爬取小说的小爬虫 - 来自业余编程人的第一篇编程分享
内容提要最近闲来无事,网上找了本小说,翻来覆去的终于找到一个还不错的小说,然而所下载的小说质量实在不讨喜,错误重复随处可见,网站广告也夹杂其中,遂产生了自己爬小说的念头。还好小说的网站都比较简单,基本没有什么反爬措施。期间遇到一个神奇的网站,小说内容是用JS格式化加载的。后来想了一个办法,遇到加载未完成,重新请求即可。废话少说,我们来看代码。代码使用Python写的。麻雀虽小,五脏俱全整个...
2019-09-26 21:51:49
1077
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人