孙萨斯-CSDN博客

原创文章标题

1、初衷：想在网上批量下载点听书、脱口秀之类，资源匮乏，大家可以一试 2、技术：wireshark scrapy jsonMonogoDB 3、思路：wireshark分析移动APP返回的各种连接分类、列表、下载地址等（json格式） 4、思路：scrapy解析json，并生成下载连接 5、思路：存储到MongoDB 6、难点：wireshark分析各类地址，都是简单的scrapy的基础使用，官网的

2015-09-08 15:25:35 366

原创 python scrapy版极客学院爬虫V2

1 基本技术使用scrapy2 这个爬虫的难点是 Request中的headers和cookies 尝试过好多次才成功（模拟登录），否则只能抓免费课程3文件树如下│ jike.json 存储json文件 │ run.py 运行爬虫 └─jkscrapy │ items.py

2015-09-07 16:55:23 300

原创 python request版极客学院爬虫V1

定向爬取极客学院视频，原本只有年费VIP只能下载，经过分析，只要找个免费体验VIP即可爬取所有视频涉及的基本技术：python xpath 正则 com 通过python调用迅雷从组件，实现自动创建文件夹和自动添加批量下载任务，前提要成功安装迅雷和迅雷组件思路：path路径爬取所有标签-》搜索页面所有该课程分类-》课程页面获取课程明细-》正则分析视频地址极客学院的一直在改进，可能需要自己改

2015-09-07 08:54:30 963