- 博客(20)
- 收藏
- 关注
RSS订阅转载 爬虫——Scrapy中选择器的基本使用(转)
原文链接https://www.cnblogs.com/zhaof/p/7189860.html Scrapy提取数据有自己的一套机制，被称作选择器（selectors）,通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分Xpath是专门在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化语言，选择器由它定义，并与特定的HT...
2019-09-27 17:04:00
211
转载 爬虫——Scrapy命令行常用操作(转)
原文链接：https://www.cnblogs.com/shuimohei/p/10495900.html1.mysql数据库2.mongoDB数据库3.redis数据库 1.创建项目 scrapy startproject myproject cd myproject 2.创建爬虫 scrapy genspider ...
2019-09-27 16:01:00
177
转载 爬虫——BeautifulSoup初识
BeautifulSoup是一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它就不用编写正则表达式也能方便的实现网页信息的抓取。Quick Start直接通过官方文档的例子，大致了解一下html_doc = """<html><head><title>The Dormouse's story</title>&l...
2019-09-27 14:24:00
163
转载 爬虫——Requests库初识
1.Requests是什么首先Requests是HTTP库，在爬虫中用于请求的相关功能。而且requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装。2.Requests的使用import requestsresponse = reque...
2019-09-27 10:13:00
167
转载 爬虫——爬虫初识
1.概念1.1什么是爬虫网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。1.2爬虫有什么用爬虫是为了获取数据，比如你想在网页上下载一些图片，一张一张的手动下载又太慢，就可以通过爬虫快速的爬取图片；获取的数据可以用于数据分析的素材等等。1.3爬虫...
2019-09-26 19:19:00
156
转载 爬虫——user_agent
#用于Python user_agent = ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"," Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4...
2019-09-26 17:26:00
164
转载 爬虫——HTTP协议初体验
1.HTTP协议1.1概念HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。1.2工作原理HTTP协议工作于客户端-服务端架构上。浏览...
2019-09-24 17:56:00
89
转载 Django——中间件
1.概念中间件是介于视图函数接收用户请求和返回数据之间的一道工序，所以说中间件可以搞很多小动作，可以说“欺上瞒下”，所以需要谨慎实用，用不好会影响到性能。了解中间件是是什么以后，你就可以修改请求，例如被传送到view中的HttpRequest对象。 或者修改view返回的HttpResponse对象，这些都可以通过中间件来实现。其实Django默认已经有一部分中间件了，在se...
2019-09-24 14:15:00
131
转载 Django——简介
1.引言Django是一种基于Python的Web开发框架。那先来看下，什么是Web开发Web开发指的是开发基于B/S(Brower/Server,浏览器/服务器)架构，通过前后端的配合，将后台服务器的数据在浏览器上展现给前台用户的应用。比如将电子购物网站的商品数据在浏览器上展示给客户，在基于浏览器的学校系统管理平台上管理学生的数据，监控机房服务器的状态并将结果以图形化的形式...
2019-09-23 18:44:00
507
转载 Python——正则表达式
本文主要参考：http://www.liujiangblog.com/course/python/731.正则概要正则表达式（regular expression）是一种工具，一种广泛用于匹配字符串的工具。它用一个“字符串”来描述一个特征，然后去验证另一个“字符串”是否符合这个特征。比如 表达式“ab+”描述的特征是“一个'a'和任意个'b'”，那么'ab','abb','abb...
2019-09-23 16:11:00
247
转载 Django——Ajax
1.Ajax概述对于WEB应用程序：用户浏览器发送请求，服务器接收并处理请求，然后返回结果，往往返回就是字符串（HTML），浏览器将字符串（HTML）渲染并显示浏览器上。对比1、传统的Web应用一个简单操作需要重新加载全局数据2、Ajax AJAX，Asynchronous JavaScript and XML (异步的JavaScript和XML)，一...
2019-09-22 20:33:00
112
转载 Django——文本编辑器
在编写项目中，若需要轻量级的在线编辑器，可以选择本文要介绍的KindEditor编辑器以下是对kindeditor的简介，以及在Django中引入这个编辑器的方法:1.kindeditor简介KindEditor 是一套开源的在线HTML编辑器，主要用于让用户在网站上获得所见即所得编辑效果，开发人员可以用 KindEditor 把传统的多行文本输入框(textarea)替换...
2019-09-22 19:10:00
143
转载 Django——发送邮件
在Python中已经内置了一个smtp邮件发送模块，Django在此基础上进行了简单地封装，让我们在Django环境中可以更方便更灵活的发送邮件。所有的功能都在django.core.mail中。记录一个简单的示例1.配置首先获取邮箱的授权码（以新浪邮箱为例） 然后是set...
2019-09-22 18:09:00
94
转载 Django——会话跟踪
1.引言1.1什么是会话会话是指一个终端用户（服务器）与交互系统（客户端）进行通讯的过程。1.2什么是会话跟踪对同一个用户对服务器的连续的请求和接受响应的监视。（将用户与同一用户发出的不同请求之间关联，为了数据共享）1.3会话跟踪是干什么的浏览器与服务器之间的通信是通过HTTP协议进行通信的，因为因特网HTTP协议的特性，每一次来自于用户浏览器的请求（reques...
2019-09-22 16:57:00
86
转载 Django——文件上传
Django在处理文件上传时，文件数据被打包封装在request.FILES中。一、简单上传首先，在模型中创建表格，它必须包含一个FileField：# models.pyfrom django import formsclass UploadFile(forms.Form): file = forms.FileField()处理...
2019-09-21 19:38:00
121
转载 Django——视图基础
1.视图函数视图函数，简称视图，本质上是一个简单的Python函数，它接受Web请求并且返回Web响应。响应的内容可以是HTML网页、重定向、404错误，XML文档或图像等任何东西。但是，无论视图本身是个什么处理逻辑，最好都返回某种响应。视图函数的代码写在哪里也无所谓，只要它在你的Python目录下面。但是通常我们约定将视图放置在项目或应用程序目录中的名为views.py的文...
2019-09-21 19:32:00
157
转载 Django——模板基础
每一个Web框架都需要一种很便利的方法用于动态生成HTML页面。 最常见的做法是使用模板。模板包含所需HTML页面的静态部分，以及一些特殊的模版语法，用于将动态内容插入静态部分。说白了，模板层就是如何往HTML文件中填入动态内容的系统。模板的设计实现了业务逻辑view与显示内容template的分离，一个视图可以使用任意一个模板，一个模板可以供多个视图使用。1.配置引擎...
2019-09-21 16:41:00
241
转载 Django——路由基础
URL是Web服务的入口，用户通过浏览器发送过来的任何请求，都是发送到一个指定的URL地址，然后被响应。在Django项目中编写路由，就是向外暴露我们接收哪些URL的请求，除此之外的任何URL都不被处理，也没有返回。通俗地理解，不恰当的形容，URL路由是你的Web服务对外暴露的API。Django奉行DRY主义，提倡使用简洁、优雅的URL，没有.php或.cgi这种后缀，更不会单...
2019-09-20 22:00:00
202
转载 Django——用户认证系统
Django自带一个用户认证系统，用于处理用户账户、群组、许可和基于cookie的用户会话。Django的认证系统包含了身份验证和权限管理两部分。简单地说，身份验证用于核实某个用户是否合法，权限管理则是决定一个合法用户具有哪些权限。往后，‘认证’这个词同时代指上面两部分的含义。权限问题我们先不谈，重点先了解身份验证，最起码能实现登录、登出的基本验证，先来了解几个方法auth模...
2019-09-20 18:37:00
256
转载 Django——form表单
1.HTML表单概述Django开发的是动态Web服务，而非单纯提供静态页面。动态服务的本质在于和用户进行互动，接收用户的输入，根据输入的不同，返回不同的内容给用户。返回数据是我们服务器后端做的，而接收用户输入就需要靠HTML表单。表单<form>...</form>可以收集其内部标签中的用户输入，然后将数据发送到服务端。一个HTML表单必须指定两样东西：...
2019-09-20 11:44:00
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人