网络爬虫
文章平均质量分 91
网络爬虫
inicho
无远弗届
展开
-
Python爬虫实例:自制翻译机(简单)
文章目录Python爬虫实例:自制翻译机要求实现功能:用户输入英文或中文,程序即可打印出来对应的译文。步骤解决反爬上码界面结果展示Python爬虫实例:自制翻译机一起试试爬取有道翻译自制翻译器吧ლ(^ω^ლ) ,自己动手做个翻译器吧,一点都不难哦~用post和json,短短几行(或者说二十几行)就可以做到!要求实现功能:用户输入英文或中文,程序即可打印出来对应的译文。实现一键翻译的功...原创 2019-07-18 18:27:36 · 3936 阅读 · 11 评论 -
python爬虫基础Ⅲ——selenium、数据存储
文章目录爬虫基础部分Ⅲselenium(1) selenium是什么(2) 好处与不足(3) 如何使用它1. 下载浏览器驱动2. 设置浏览器引擎3. 获取数据4.解析、提取数据5. 示例6. selenium 与 BS 的配合使用7. selenium操作元素常用方法8. 设置为静默模式存储数据(1) 写入excel文件(2) 写入csv文件爬虫基础部分Ⅲselenium懒得截图了(每次截图...原创 2019-07-23 22:39:42 · 2596 阅读 · 0 评论 -
python爬虫基础Ⅰ——requests、BeautifulSoup:书本信息
文章目录基础爬虫部分Ⅰ什么是爬虫呀?requests1. 安装2. requests.get()3. Response对象的常用属性(1 )response.status_code常见相应状态码解释(2) response.content(3) response.text(4) response.encodingrobot协议HTML基基基础1. 查看网页的HTML代码2. 最简单的HTML文档3...原创 2019-07-16 11:26:59 · 1375 阅读 · 0 评论 -
python爬虫基础Ⅱ——Ajax数据爬取、带参请求:QQ音乐歌单、QQ音乐评论
文章目录基础爬虫部分Ⅱjson1. Network2. XHR怎么请求?3. 什么是json?4. json数据如何解析?带参数请求1. 复习2. params3. 添加Headers基础爬虫部分Ⅱjson有点不知从何说起,那我就乱来了鸭 XD现在呢,我想获取QQ音乐里周杰伦的歌曲清单。按照前边说的,可能会写出这样的代码:import requestsfrom bs4 import...原创 2019-07-17 10:19:24 · 1561 阅读 · 0 评论 -
python爬虫基础Ⅳ——多协程:爬取食物热量
文章目录基础爬虫部分Ⅳ(1) 协程是什么(2) gevent库(3) 使用多协程1. 把程序设置为多协作式运行2. 定义爬取函数3. 用gevent.spawn()创建任务(4) queue模块和协程配合(5) 实例:爬取食物热量基础爬虫部分Ⅳ(1) 协程是什么我们前面爬取的数据都不算大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很...原创 2019-07-27 10:43:31 · 1461 阅读 · 0 评论 -
python爬虫基础Ⅴ——带cookies请求、session:饿了么--附近餐馆信息
文章目录基础爬虫部分Ⅴ爬取饿了么上的附近餐馆cookiessession获取登录的cookie分析过程(1) 模拟发送验证码(2) 使用session模拟登录(3) 模拟输入地址,获取必要参数(4) 带cookies和参数请求餐馆列表(5) 代码整合基础爬虫部分Ⅴ这里打算用一个实例来简单说下带cookie和会话。也许看起来我下面写的做这个任务很顺利,其实都是经过摸索得出来的,像一些参数在哪...原创 2019-07-28 14:04:06 · 3725 阅读 · 2 评论 -
Python爬虫实例:测单词量并生成错词本
文章目录爬虫实例:测单词量的功能、生成错词本分步讲解 (╹▽╹)(1). 选择题库。(2). 根据选择的题库,获取50个单词。(3). 让用户选择认识的单词:此处,要分别记录下用户认识哪些,不认识哪些。(4). 对于用户认识的单词,给选择题让用户做:此处要记录用户做对了哪些,做错了哪些。(5). 生成报告:50个单词,不认识多少,认识多少,掌握多少,错了多少。(6). 整理代码,可以加一些修饰词,...原创 2019-08-01 18:37:38 · 1816 阅读 · 2 评论