- 博客(25)
- 收藏
- 关注
RSS订阅原创 爬虫框架开发之框架功能升级
框架功能升级介绍前面的内容，我们实现了一个功能相对完善的爬虫框架，但是还不够强大，对于一些功能比如分布式，断点续爬等功能任然没有实现，那么接下来在框架功能升级这一部分，我们继续来完善框架内容分布式爬虫的支持增量爬虫的设计支持断点续爬的设计支持3.4.1框架升级 – 分布式爬虫设计原理及其实现目标理解分布式爬虫的原理理解如何通过redis构建一个队列完成代理的重构，实现分布...
2019-09-25 23:05:46
385
原创 爬虫框架开发之完善框架的基础功能
完善框架的基础功能介绍前面我们完成了框架的基本雏形，但是目前能够实现的功能非常简单，还达不到完成一个爬虫的基本需求，对应的需要在本节中对爬虫框架做进行进一步的完善项目代码与框架代码完善分析项目代码与框架代码的关系分析： 项目代码与框架代码的关系分析项目中除了实现main.py以外，还需要实现：项目配置文件爬虫文件管道文件中间件文件框架中还需要实现：框架配置文件，并且需要实现导...
2019-09-25 23:00:34
329
原创 爬虫框架开发之框架的雏形实现
框架的雏形实现介绍前面我们完成了框架的大致结构，那么接下来的这部分，我们还需要实现具体每个模块中的基本方法，让框架能够帮助我们完成一些基础的功能。内容完成HTTP相关的模块完成item模块完成核心模块(引擎，调度器，下载器等)安装框架运行整个框架完成中间件模块3.2.1框架雏形 – 实现http模块和item模块目标完成request模块的基础封装完成respons模块...
2019-09-24 22:50:33
155
原创 爬虫框架开发之爬虫框架开发分析
爬虫框架开发分析介绍本节会首先了解框架概念和实现框架的好处，在这个基础上思考如何实现自己的爬虫框架；通过对scrapy框架的流程的分析，明确自己的框架要实现的模块和逻辑；最后完成自己框架的雏形机构内容了解框架的内涵学习scrapy框架的思路实现自己框架的雏形结构3.1.1了解框架目标明确什么是框架了解实现框架的好处了解框架思路的来源1.什么是框架框架是为了为解...
2019-09-24 22:44:01
216
原创 爬虫提高之Scrapy_redis
Scrapy_redis介绍前面学习了scarpy这个框架，那么接下来我们来学习scarpy的增强版工具：scrapy_redis内容scrapy_redis的定义和能够实现的功能scrapy_redis实现的原理scarpy_redis实现增量式爬虫scrapy_redis实现分布式爬虫scrapy_redis实现crwalspider爬虫2.4.1scrapy_redis实现...
2019-09-24 22:39:51
246
原创 爬虫提高之scrapy框架
scrapy框架的学习介绍前面我们学习了基础的爬虫实现方法和selenium以及mongodb数据库，那么接下来会我们学习一个上场率非常高的爬虫框架：scrapy内容scrapy的基础概念和工作流程scrapy入门使用scrapy的深入crawlspider的使用2.3.1scrapy的基础概念和流程目标了解学习scrapy的目的能够说出异步和非阻塞的区别掌握scrapy的...
2019-09-23 22:39:28
348
原创 爬虫提高之mongdb数据库
Mongodb数据库介绍在前面的课程中我们学习了mysql这种关系型数据库，那么接下来，我们会来学习一种非关系型数据库mongodb内容mongodb的介绍mongodb安装mongodb基本操作mongodb数据查询mongdb聚合索引和备份mongo和python交互2.2.1mongodb的介绍和安装目标了解非关系型数据库和关系型数据库的区别了解mongodb的优...
2019-09-23 19:06:09
179
原创 爬虫提高之selenum的学习
爬虫提高介绍在前面我们我们学习了如何发送请求和提取数据，学习完入门的课程之后，我们应该能够处理目前接触到的70%的网站数据的抓取。但是可能我们会发现一些问题，比如：数据是通过js渲染出来的，数据的存储不方便，数据抓取的效率太低，那么通过本部分爬虫提高的内容的学习之后，就能够解决对应的这些问题目标掌握selenium的使用掌握mongodb数据库的使用掌握scrapy框架的使用掌握s...
2019-09-22 20:34:17
347
原创 爬虫入门之数据的提取方法
数据的提取方法介绍前面的课程中，我们学习了如何发送发送，对应的，回顾之前的爬虫流程，在发送完请求之后，能够获取响应，这个时候就需要从响应中提取数据了内容数据提取的基础概念和数据分类json模块的复习正则表达式的复习认识xmlxpath的学习LXML类库的学习多线程和多进程爬虫的学习1.3.1数据提取的概念和数据的分类目标了解什么是数据提取熟悉爬虫的数据的种类什么是...
2019-09-22 20:22:48
2393
原创 爬虫入门之request模块的使用
1.2requests模块的使用介绍前面我们学习了爬虫的基础知识，那么接下来我们就来学习如何在代码中实现我们的爬虫内容requests模块的认识requests发送get请求requests获取响应数据requests发送带headers的请求requests发送带参数的请求requests发送POST请求requests使用代理requests处理cookie1.2....
2019-09-22 20:08:40
790
原创 爬虫入门之爬虫的基本知识
1.1爬虫的基础概念1.1.1目标理解为什么要学习爬虫掌握爬虫的概念理解爬虫的分类掌握爬虫的流程为什么要学习爬虫(理解)如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？首先我们来看下面这个例子：新浪指数这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，...
2019-09-22 19:39:36
518
原创 Django基础之Admin站点
1.使用Admin站点假设我们要设计一个新闻网站，我们需要编写展示给用户的页面，网页上展示的新闻信息是从哪里来的呢？是从数据库中查找到新闻的信息，然后把它展示在页面上。但是我们的网站上的新闻每天都要更新，这就意味着对数据库的增、删、改、查操作，那么我们需要每天写sql语句操作数据库吗? 如果这样的话，是不是非常繁琐，所以我们可以设计一个页面，通过对这个页面的操作来实现对新闻数据库的增删改查操...
2019-09-04 20:46:26
123
原创 Django基础之数据库
数据库ORM框架O是object，也就类对象的意思，R是relation，翻译成中文是关系，也就是关系数据库中数据表的意思，M是mapping，是映射的意思。在ORM框架中，它帮我们把类和数据表进行了一个映射，可以让我们通过类和类对象就能操作它所对应的表格中的数据。ORM框架还有一个功能，它可以根据我们设计的类自动帮我们生成数据库中的表格，省去了我们自己建表的过程。django中内嵌了ORM...
2019-09-02 00:14:16
184
原创 Django基础之MVT
一.请求与响应1.请求回想一下，利用HTTP协议向服务器传参有几种途径？提取URL的特定部分，如/weather/beijing/2018，可以在服务器端的路由中用正则表达式截取；查询字符串（query string)，形如key1=value1&key2=value2；请求体（body）中发送的数据，比如表单数据、json、xml；在http报文的头（header）中。1 ...
2019-09-01 22:13:22
177
原创 django基础之工程搭建
1.创建工程在django中，项目工程目录可以借助django提供的命令帮助我们创建。创建创建工程的命令为：django-admin startproject 工程名称例如：想要在桌面的code目录中创建一个名为demo的项目工程，可执行如下命令：cd ~/Desktop/codedjango-admin startproject demo执行后，会多出一个新目录名为de...
2019-09-01 21:30:58
268
原创 前端七十二变之vue单页面项目实战
1.组件嵌套将单文件组件组合在一起有两种方式，一种是嵌套方式，一种用路由的方式。嵌套的方式代码如下：下图示中，假设组件A中要嵌入组件B<template> // 在A组件中使用B组件 <B_zujian></B_zujian></template><script>// 先导入B组件，其中'@'表示src目...
2019-08-25 23:37:13
166
原创 前端七十二变之vue.js组件开发
1.ES6语法ES6是JavaScript语言的新版本，它也可以叫做ES2015，之前学习的JavaScript属于ES5，ES6在它的基础上增加了一些语法，ES6是未来JavaScript的趋势，而且vue组件开发中会使用很多的ES6的语法，所以掌握这些常用的ES6语法是必须的。变量声明let和constlet和const是新增的声明变量的开头的关键字，在这之前，变量声明是用var关键字，...
2019-08-25 23:33:37
125
原创 前端七十二变之Vue.js库使用
1.vue.js简介Vue.js读音 /vjuː/, 类似于 viewVue.js是前端三大新框架：Angular.js、React.js、Vue.js之一，Vue.js目前的使用和关注程度在三大框架中稍微胜出，并且它的热度还在递增。Vue.js可以作为一个js库来使用，也可以用它全套的工具来构建系统界面，这些可以根据项目的需要灵活选择，所以说，Vue.js是一套构建用户界面的渐进式框架。...
2019-08-25 23:28:29
237
原创 前端七十二变之jquery高级
1.事件冒泡什么是事件冒泡在一个对象上触发某类事件（比如单击onclick事件），如果此对象定义了此事件的处理程序，那么此事件就会调用这个处理程序，如果没有定义此事件处理程序或者事件返回true，那么这个事件会向这个对象的父级对象传播，从里到外，直至它被处理（父级对象所有同类事件都将被激活），或者它到达了对象层次的最顶层，即document对象（有些浏览器是window）。事件冒泡的作用事...
2019-08-25 23:18:15
79
原创 前端七十二变之jquery进阶
1.jquery特殊效果fadeIn() 淡入 $btn.click(function(){ $('#div1').fadeIn(1000,'swing',function(){ alert('done!'); }); });fadeOut() 淡出fadeToggle() 切换淡入淡出hide() 隐藏元素...
2019-08-25 23:13:02
78
原创 前端七十二变之jquery入门
1.jquery介绍jQuery是目前使用最广泛的javascript函数库。据统计，全世界排名前100万的网站，有46%使用jQuery，远远超过其他库。微软公司甚至把jQuery作为他们的官方库。jQuery的版本分为1.x系列和2.x、3.x系列，1.x系列兼容低版本的浏览器，2.x、3.x系列放弃支持低版本浏览器，目前使用最多的是1.x系列的。jquery是一个函数库，一个js文件，...
2019-08-25 23:09:33
114
原创 前端七十二变之javascript高级
1.数组及操作方法数组就是一组数据的集合，javascript中，数组里面的数据可以是不同类型的。定义数组的方法//对象的实例创建var aList = new Array(1,2,3);//直接量创建var aList2 = [1,2,3,'asd'];操作数组中数据的方法1、获取数组的长度：aList.length;var aList = [1,2,3,4];alert...
2019-08-25 23:05:41
80
原创 前端七十二变之javascript入门及进阶
1.JavaScript介绍JavaScript是运行在浏览器端的脚步语言，JavaScript主要解决的是前端与用户交互的问题，包括使用交互与数据交互。 JavaScript是浏览器解释执行的，前端脚本语言还有JScript（微软，IE独有），ActionScript( Adobe公司，需要插件)等。前端三大块1、HTML：页面结构2、CSS：页面表现：元素大小、颜色、位置、隐藏或显示、...
2019-08-25 22:50:30
111
原创 前端七十二变之html和css进阶
1.相对地址与绝对地址网页上引入或链接到外部文件，需要定义文件的地址，常见引入或链接外部文件包括以下几种：<!-- 引入外部图片 --><img src="images/001.jpg" alt="图片" /><!-- 链接到另外一个网页 --><a href="002.html">链接到网页2</a><!-...
2019-08-25 22:26:04
114
原创 前端七十二变之html和css入门
1.html概述及html文档基本结构html概述HTML是 HyperText Mark-up Language 的首字母简写，意思是超文本标记语言，超文本指的是超链接，标记指的是标签，是一种用来制作网页的语言，这种语言由一个个的标签组成，用这种语言制作的文件保存的是一个文本文件，文件的扩展名为html或者htm。html文档基本结构一个html的基本结构如下：<!DOCTYPE...
2019-08-25 21:14:21
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人