- 博客(25)
- 收藏
- 关注
RSS订阅原创 爬虫框架开发之框架功能升级
框架功能升级 介绍 前面的内容，我们实现了一个功能相对完善的爬虫框架，但是还不够强大，对于一些功能比如分布式，断点续爬等功能任然没有实现，那么接下来在框架功能升级这一部分，我们继续来完善框架 内容 分布式爬虫的支持 增量爬虫的设计支持 断点续爬的设计支持 3.4.1框架升级 – 分布式爬虫设计原理及其实现 目标 理解分布式爬虫的原理 理解如何通过redis构建一个队列 完成代理的重构，实现分布...
2019-09-25 23:05:46
569
原创 爬虫框架开发之完善框架的基础功能
完善框架的基础功能 介绍 前面我们完成了框架的基本雏形，但是目前能够实现的功能非常简单，还达不到完成一个爬虫的基本需求，对应的需要在本节中对爬虫框架做进行进一步的完善 项目代码与框架代码完善分析 项目代码与框架代码的关系分析： 项目代码与框架代码的关系分析 项目中除了实现main.py以外，还需要实现： 项目配置文件 爬虫文件 管道文件 中间件文件 框架中还需要实现： 框架配置文件，并且需要实现导...
2019-09-25 23:00:34
422
原创 爬虫框架开发之框架的雏形实现
框架的雏形实现 介绍 前面我们完成了框架的大致结构，那么接下来的这部分，我们还需要实现具体每个模块中的基本方法，让框架能够帮助我们完成一些基础的功能。 内容 完成HTTP相关的模块 完成item模块 完成核心模块(引擎，调度器，下载器等) 安装框架 运行整个框架 完成中间件模块 3.2.1框架雏形 – 实现http模块和item模块 目标 完成request模块的基础封装 完成respons模块...
2019-09-24 22:50:33
281
原创 爬虫框架开发之爬虫框架开发分析
爬虫框架开发分析 介绍 本节会首先了解框架概念和实现框架的好处，在这个基础上思考如何实现自己的爬虫框架；通过对scrapy框架的流程的分析，明确自己的框架要实现的模块和逻辑；最后完成自己框架的雏形机构 内容 了解框架的内涵 学习scrapy框架的思路 实现自己框架的雏形结构 3.1.1了解框架 目标 明确什么是框架 了解实现框架的好处 了解框架思路的来源 1.什么是框架 框架是为了为解...
2019-09-24 22:44:01
323
原创 爬虫提高之Scrapy_redis
Scrapy_redis 介绍 前面学习了scarpy这个框架，那么接下来我们来学习scarpy的增强版工具：scrapy_redis 内容 scrapy_redis的定义和能够实现的功能 scrapy_redis实现的原理 scarpy_redis实现增量式爬虫 scrapy_redis实现分布式爬虫 scrapy_redis实现crwalspider爬虫 2.4.1scrapy_redis实现...
2019-09-24 22:39:51
321
原创 爬虫提高之scrapy框架
scrapy框架的学习 介绍 前面我们学习了基础的爬虫实现方法和selenium以及mongodb数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy 内容 scrapy的基础概念和工作流程 scrapy入门使用 scrapy的深入 crawlspider的使用 2.3.1scrapy的基础概念和流程 目标 了解学习scrapy的目的 能够说出异步和非阻塞的区别 掌握scrapy的...
2019-09-23 22:39:28
479
原创 爬虫提高之mongdb数据库
Mongodb数据库 介绍 在前面的课程中我们学习了mysql这种关系型数据库，那么接下来，我们会来学习一种非关系型数据库mongodb 内容 mongodb的介绍 mongodb安装 mongodb基本操作 mongodb数据查询 mongdb聚合 索引和备份 mongo和python交互 2.2.1mongodb的介绍和安装 目标 了解非关系型数据库和关系型数据库的区别 了解mongodb的优...
2019-09-23 19:06:09
256
原创 爬虫提高之selenum的学习
爬虫提高 介绍 在前面我们我们学习了如何发送请求和提取数据，学习完入门的课程之后，我们应该能够处理目前接触到的70%的网站数据的抓取。 但是可能我们会发现一些问题，比如：数据是通过js渲染出来的，数据的存储不方便，数据抓取的效率太低，那么通过本部分爬虫提高的内容的学习之后，就能够解决对应的这些问题 目标 掌握selenium的使用 掌握mongodb数据库的使用 掌握scrapy框架的使用 掌握s...
2019-09-22 20:34:17
448
原创 爬虫入门之数据的提取方法
数据的提取方法 介绍 前面的课程中，我们学习了如何发送发送，对应的，回顾之前的爬虫流程，在发送完请求之后，能够获取响应，这个时候就需要从响应中提取数据了 内容 数据提取的基础概念和数据分类 json模块的复习 正则表达式的复习 认识xml xpath的学习 LXML类库的学习 多线程和多进程爬虫的学习 1.3.1数据提取的概念和数据的分类 目标 了解什么是数据提取 熟悉爬虫的数据的种类 什么是...
2019-09-22 20:22:48
2565
原创 爬虫入门之request模块的使用
1.2requests模块的使用 介绍 前面我们学习了爬虫的基础知识，那么接下来我们就来学习如何在代码中实现我们的爬虫 内容 requests模块的认识 requests发送get请求 requests获取响应数据 requests发送带headers的请求 requests发送带参数的请求 requests发送POST请求 requests使用代理 requests处理cookie 1.2....
2019-09-22 20:08:40
966
原创 爬虫入门之爬虫的基本知识
1.1爬虫的基础概念 1.1.1目标 理解为什么要学习爬虫 掌握爬虫的概念 理解爬虫的分类 掌握爬虫的流程 为什么要学习爬虫(理解) 如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？ 首先我们来看下面这个例子： 新浪指数 这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，...
2019-09-22 19:39:36
625
原创 Django基础之Admin站点
1.使用Admin站点 假设我们要设计一个新闻网站，我们需要编写展示给用户的页面，网页上展示的新闻信息是从哪里来的呢？是从数据库中查找到新闻的信息，然后把它展示在页面上。但是我们的网站上的新闻每天都要更新，这就意味着对数据库的增、删、改、查操作，那么我们需要每天写sql语句操作数据库吗? 如果这样的话，是不是非常繁琐，所以我们可以设计一个页面，通过对这个页面的操作来实现对新闻数据库的增删改查操...
2019-09-04 20:46:26
197
原创 Django基础之数据库
数据库 ORM框架 O是object，也就类对象的意思，R是relation，翻译成中文是关系，也就是关系数据库中数据表的意思，M是mapping，是映射的意思。在ORM框架中，它帮我们把类和数据表进行了一个映射，可以让我们通过类和类对象就能操作它所对应的表格中的数据。ORM框架还有一个功能，它可以根据我们设计的类自动帮我们生成数据库中的表格，省去了我们自己建表的过程。 django中内嵌了ORM...
2019-09-02 00:14:16
278
原创 Django基础之MVT
一.请求与响应 1.请求 回想一下，利用HTTP协议向服务器传参有几种途径？ 提取URL的特定部分，如/weather/beijing/2018，可以在服务器端的路由中用正则表达式截取； 查询字符串（query string)，形如key1=value1&key2=value2； 请求体（body）中发送的数据，比如表单数据、json、xml； 在http报文的头（header）中。 1 ...
2019-09-01 22:13:22
261
原创 django基础之工程搭建
1.创建工程 在django中，项目工程目录可以借助django提供的命令帮助我们创建。 创建 创建工程的命令为： django-admin startproject 工程名称 例如：想要在桌面的code目录中创建一个名为demo的项目工程，可执行如下命令： cd ~/Desktop/code django-admin startproject demo 执行后，会多出一个新目录名为de...
2019-09-01 21:30:58
390
原创 前端七十二变之vue单页面项目实战
1.组件嵌套 将单文件组件组合在一起有两种方式，一种是嵌套方式，一种用路由的方式。嵌套的方式代码如下： 下图示中，假设组件A中要嵌入组件B <template> // 在A组件中使用B组件 <B_zujian></B_zujian> </template> <script> // 先导入B组件，其中'@'表示src目...
2019-08-25 23:37:13
242
原创 前端七十二变之vue.js组件开发
1.ES6语法 ES6是JavaScript语言的新版本，它也可以叫做ES2015，之前学习的JavaScript属于ES5，ES6在它的基础上增加了一些语法，ES6是未来JavaScript的趋势，而且vue组件开发中会使用很多的ES6的语法，所以掌握这些常用的ES6语法是必须的。 变量声明let和const let和const是新增的声明变量的开头的关键字，在这之前，变量声明是用var关键字，...
2019-08-25 23:33:37
191
原创 前端七十二变之Vue.js库使用
1.vue.js简介 Vue.js读音 /vjuː/, 类似于 view Vue.js是前端三大新框架：Angular.js、React.js、Vue.js之一，Vue.js目前的使用和关注程度在三大框架中稍微胜出，并且它的热度还在递增。 Vue.js可以作为一个js库来使用，也可以用它全套的工具来构建系统界面，这些可以根据项目的需要灵活选择，所以说，Vue.js是一套构建用户界面的渐进式框架。 ...
2019-08-25 23:28:29
334
原创 前端七十二变之jquery高级
1.事件冒泡 什么是事件冒泡 在一个对象上触发某类事件（比如单击onclick事件），如果此对象定义了此事件的处理程序，那么此事件就会调用这个处理程序，如果没有定义此事件处理程序或者事件返回true，那么这个事件会向这个对象的父级对象传播，从里到外，直至它被处理（父级对象所有同类事件都将被激活），或者它到达了对象层次的最顶层，即document对象（有些浏览器是window）。 事件冒泡的作用 事...
2019-08-25 23:18:15
143
原创 前端七十二变之jquery进阶
1.jquery特殊效果 fadeIn() 淡入 $btn.click(function(){ $('#div1').fadeIn(1000,'swing',function(){ alert('done!'); }); }); fadeOut() 淡出 fadeToggle() 切换淡入淡出 hide() 隐藏元素 ...
2019-08-25 23:13:02
146
原创 前端七十二变之jquery入门
1.jquery介绍 jQuery是目前使用最广泛的javascript函数库。据统计，全世界排名前100万的网站，有46%使用jQuery，远远超过其他库。微软公司甚至把jQuery作为他们的官方库。 jQuery的版本分为1.x系列和2.x、3.x系列，1.x系列兼容低版本的浏览器，2.x、3.x系列放弃支持低版本浏览器，目前使用最多的是1.x系列的。 jquery是一个函数库，一个js文件，...
2019-08-25 23:09:33
179
原创 前端七十二变之javascript高级
1.数组及操作方法 数组就是一组数据的集合，javascript中，数组里面的数据可以是不同类型的。 定义数组的方法 //对象的实例创建 var aList = new Array(1,2,3); //直接量创建 var aList2 = [1,2,3,'asd']; 操作数组中数据的方法 1、获取数组的长度：aList.length; var aList = [1,2,3,4]; alert...
2019-08-25 23:05:41
136
原创 前端七十二变之javascript入门及进阶
1.JavaScript介绍 JavaScript是运行在浏览器端的脚步语言，JavaScript主要解决的是前端与用户交互的问题，包括使用交互与数据交互。 JavaScript是浏览器解释执行的，前端脚本语言还有JScript（微软，IE独有），ActionScript( Adobe公司，需要插件)等。 前端三大块 1、HTML：页面结构 2、CSS：页面表现：元素大小、颜色、位置、隐藏或显示、...
2019-08-25 22:50:30
164
原创 前端七十二变之html和css进阶
1.相对地址与绝对地址 网页上引入或链接到外部文件，需要定义文件的地址，常见引入或链接外部文件包括以下几种： <!-- 引入外部图片 --> <img src="images/001.jpg" alt="图片" /> <!-- 链接到另外一个网页 --> <a href="002.html">链接到网页2</a> <!-...
2019-08-25 22:26:04
178
原创 前端七十二变之html和css入门
1.html概述及html文档基本结构 html概述 HTML是 HyperText Mark-up Language 的首字母简写，意思是超文本标记语言，超文本指的是超链接，标记指的是标签，是一种用来制作网页的语言，这种语言由一个个的标签组成，用这种语言制作的文件保存的是一个文本文件，文件的扩展名为html或者htm。 html文档基本结构 一个html的基本结构如下： <!DOCTYPE...
2019-08-25 21:14:21
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人