- 博客(59)
- 收藏
- 关注
RSS订阅转载 Python中使用pip安装一些库时出现ERROR
ERROR: No matching distribution found for tensorflow的情况这可能是因为网络的问题，这时我们使用国内的镜像源来加速输入命令：python -m pip install requests(如果你安装的是别的库，请输入别的库名） -i http://pypi.douban.com/simple/ --trusted-host pypi.dou...
2019-09-25 11:41:00
276
转载 05.scrapy框架的UA池和代理池
一:下载中间件 scrapy框架图下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层 作用: 1.引擎将请求传递给下载器过程中,下载中间件可以对请求进行一系列处理.比如设置请求的User-Agent,设置代理等 2.在下载器完成将response传递给引擎中,下载中间件可以对响应进行一系列处理,比如进行gzip解...
2019-09-16 00:36:00
184
转载 04scrapy框架的日志等级和请求传参
一.scrapy的日志等级 -在使用scrapy crawl spiderFileName运行程序时,在终端打印输出的就是scrapy的日志信息. -日志信息的种类: ERROR:一般错误 WARNING:警告 INFO:一般的信息 DEBUG: 调试信息 -在设置日志信息指定输出: 在settings.py配置文件中,加入...
2019-09-16 00:25:00
192
转载 03.scrapy框架之递归解析和post请求
1.递归爬取解析多页页面数据-需求:将糗事百科页面的作业和段子内容数据进行爬取持久化存储-需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页面对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析 实现方法: 1.将每一个页面对应的url存放到爬取文件的其实url列表(start_list)中. 2.使用request方法手动...
2019-09-16 00:07:00
126
转载 02.scrapy框架持久化存储
1.基于终端指令的持久化存储 保证爬虫文件parse方法中有可迭代对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.json scrapy crawl 爬虫名称 -o xxx.xml scrap...
2019-09-15 23:52:00
126
转载 git
Git是什么？ Git是目前世界上最先进的分布式版本控制系统。 一. 上传新源码// 1.初始化git init// 2.创建.gitignore文件.ideatarget*.iml// 3.添加远程库git remote add origin https://gitlab.zfibs.com/new-gurudada/gurudada-admin.git...
2019-09-12 18:00:00
65
转载 01.scrapy框架简介和基础应用
一:什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板,对于框架的学习,重点是要学习其框架的特性,各种功能的用法即可: 二:安装 Liunx: pip3 install sc...
2019-09-12 01:52:00
81
转载 python笔记--学会使用Fiddler
Fiddler是一个常见的抓包分析软件,同时我们可以利用它详细地对HTTP请求进行分析,并模拟对应的HTTP请求. 为什么使用Fiddler软件? 网络爬虫是自动爬取网页的程序,在爬取的过程中必然涉及客户端和服务端的通信,自然也需要发送一些HTTP请求,并接受服务器返回的结果.在一些稍复杂的网络请求红,我们直接看网址变化时看不出规律的,此时如果要进行自动化爬取网页,就...
2019-09-12 00:49:00
359
转载 python进程/线程/协成
1.谈谈对多进程多线程以及协成的理解 进程:一个运行的程序(代码)就是一个进程,没有运行的代码叫做程序,进程是系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,开销大 线程:调度执行的最小单位,也叫执行路径,不能独立存在,必须依赖进程存在,一个进程至少有一个线程,叫主线程,而多个线程共享内存(数据共享,共享全局变量),从而极大地提高了程序的运行效率. ...
2019-08-15 01:11:00
193
转载 cookie和session的关系
1、cookie数据存放在客户的浏览器上，session数据放在服务器上。2、cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗 考虑到安全应当使用session。3、session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能 考虑到减轻服务器性能方面，应当使用COOKIE。4、单个cookie保存的数据不能超过4K，很多...
2019-06-26 18:27:00
207
转载 入门介绍
入门介绍什么是框架，Python都有什么框架Web应用框架（Web application framework）是一种开发框架，用来支持动态网站、网络应用程序及网络服务的开发。(摘自 百度百科)基于python的web框架可以算得上是百花齐放，各种的框架和微框架数不胜数，所以关于哪个框架的好与不好，优与不优争论一直不休。到底哪个框架好，这需要结合你的项目需求以及后期维护和...
2019-05-22 08:58:00
84
转载 模型ORM
目录Object Relational Mapping(ORM)ORM介绍ORM概念对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。ORM在业务逻辑层和数据库层之...
2019-01-23 19:26:00
131
转载 Django框架简介
Django框架简介MVC框架和MTV框架MVC，全名是Model View Controller，是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)，具有耦合性低、重用性高、生命周期成本低等优点。想要更详细的了解MVC模式? >>点我Django框架的设计模式借鉴了M...
2019-01-23 19:20:00
77
转载 Django的View(视图)
目录Django的View（视图）一个视图函数（类），简称视图，是一个简单的Python 函数（类），它接受Web请求并且返回Web响应。响应可以是一张网页的HTML内容，一个重定向，一个404错误，一个XML文档，或者一张图片。无论视图本身包含什么逻辑，都要返回响应。代码写在哪里也无所谓，只要它在你当前项目目录下面。除此之外没有更...
2019-01-23 19:14:00
60
转载 Django之模板
目录Django模板系统官方文档常用语法Django模板中只需要记两种特殊符号：{{ }}和{% %}{{ }}表示变量，在模板渲染的时候替换成值，{% %}表示逻辑相关的操作。变量{{ 变量名 }}变量名由字母数字和下划线组成。点（.）在模板语言中有特殊的含义，用来获取对象的相应属性值。几个例子：vie...
2019-01-21 22:26:00
70
转载 django第二天
内容回顾1.HTTP协议 1.请求方式:8种 GET / POST 2.状态码 1xx 2xx 200 ok 3xx 重定向 301 302 4xx 请求的错误 5xx 服务器的错误 3.url http://www.cnblogs.com /guobaoyuan?k1=v1&k2=v2...
2019-01-15 18:37:00
88
转载 ES6快速入门
ES6 快速入门ES6 初识ES6 是ECMAScript 6.0 的简写，即 JavaScript 语言的下一代标准，已经在 2015年6月正式发布了，它的目标是让JS能够方便的开发企业级大型应用程序，因此，ES6的一些规范正在逐渐向Java、C# 等后端语言标准靠近。在 ES6 规范中，比较重大的变化有以下几个方面：...
2019-01-03 21:25:00
68
转载 DjangoContenttype
---恢复内容开始---一切优化,最终都是关于需求的优化,本文介绍需求确定之后的数据库表结构设计优化.引入我们一直情调的一句话是,编程是数据结构和算法的结合,所谓数据就是用户需要访问和操作的资源,比如购物类App里面的商品,图书,衣服,鞋帽等等,算法就是我们通过一系列的获取数据,过滤数据,汇总并编排数据并最终展示给用户的一个过程.算法的实现复杂度非常重要,因为它直接关乎到...
2018-12-28 20:55:00
115
转载 高并发的详解及解决方案
一、什么是高并发高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对请求做出响应的时间。例如...
2018-12-21 18:45:00
254
转载 Django之路由系统
目录Django的路由系统Django 1.11版本 URLConf官方文档URL配置(URLconf)就像Django所支撑网站的目录,它的本质是URL与要为该URL调用的试图函数之间的映射表.我们就是以这种方式告诉Django,遇到那个URL的时候,要对应执行那个函数.URLconf配置基本格式from django.conf.urls import ...
2018-12-13 23:18:00
58
转载 Django之ORM
目录Object Relational Mapping(ORM)ORM介绍ORM概念对象关系映射(Object Relational Mapping, 简称ORM)模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术.简单的说,ORM是通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中.ORM在业务逻辑层和数据库层之间充当...
2018-12-13 21:19:00
93
转载 Django form表单
Form介绍我们之前在HTML页面利用form表单向后端提交数据时,都会写一些获取用户输入的标签并且用form标签把它们包起来.与此同时我们在好多场景下都需要对用户的输入做效验,比如效验用户是否输入,输入的长度和格式等正不正确,如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.Django form组件就实现了上面所述的功能.总结一下,其实form组件的...
2018-12-12 19:47:00
104
转载 AJAX
---恢复内容开始---AJAX准备知识:JSON什么是JSON? JSON指的是JavaScript对象表示法(JavaScript Object Notation) JSON 是轻量级的文本数据交换格式 JSON 独立于语言 JSON具有自我描述性,更易理解 JSON使用JavaScript语法来描述数据对象,但是JSON仍然独立于语言和平台,J...
2018-12-11 17:14:00
75
转载 python之协程
阅读目录一 引子二 协程介绍三 greenlet四 Gevent介绍五 gevent之同步与异步六 Gevent之应用举例一七 Gevent之应用举例二一 引子 本节的主题是基于单线程来实现并发,即只有一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下...
2018-10-29 23:10:00
78
转载 python八大排序算法
print("冒泡排序")def bubbleSort(input_list): ''' 函数说明:冒泡排序(升序) :param input_lis: 待排序列表 :return:sorted_list :升序排好的列表 ''' if len(input_list) == 0: return []...
2018-08-21 20:29:00
85
转载 python之路-进程
理论知识操作系统背景知识顾名思义,进程即程序正在执行的一个过程,进程是对正在运行的程序的一个抽象.进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最总要的抽象概念之一.操作系统的其他所有内容都是围绕进程概念展开的.所以想要真正了解进程,必须事先了解操作系统PS:即使可以利用cpu只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能...
2018-08-20 21:32:00
143
转载 网络基础
计算机网络的发展及基础网络概念问题:网络到底是什么?计算机之间是如何通信的?早期:联机以太网:局域网与交换机广播 主机之间"一对所有"的通讯模式,网络对其中每一台主机发出的信号都进行无条件复制并转发,所有主机都可以接收到左右信息(不管你是否需要),由于其实不用路径选择,所以其网络成本可以很低廉.有线电视网就是典型的广播型网络,我们的电视机实际上是接收到所有频...
2018-08-13 17:07:00
92
转载 time时间模块
和时间有关系的我们就要用到时间模块,在使用模块之前,应该首先导入这个模块1.time.sleep(secs)(线程)推迟指定的时间运行.单位为秒2.time.time()获取当前时间戳表示时间的三种方式在python中,通常有这三种...
2018-08-09 16:23:00
115
转载 import random # 随机模块
import random # 随机模块# 随机: 在某个范围内取到每个值的概率是相同的#0-1之内的随机小数print(random.random())print(random.uniform(1,5))#随机整数print(random.randint(1, 2)) #包含2在内的范围内随机取整数print(random.randrange(1,2)) #不包含2在那的范围内随机...
2018-08-08 09:32:00
2401
转载 生成一个随机验证码
# 数字/数字+字母# def rand_code(n=6 , alph_flag = True):# code = ''# for i in range(n):# rand_num = str(random.randint(0,9))# if alph_flag:# rand_alph ...
2018-08-07 21:14:00
138
转载 模块和包
1.什么还模块? 常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀. 但其实import加载的模块分为四个通用类别: 1 使用python编写的代码（.py文件） 2 已被编译为共享库或DLL的C或C++扩展 3 包好一组模块的包 4 使用C编写并链接到python解释器的内置模块...
2018-08-03 21:52:00
103
转载 python面向对象中反射
反射的定义: 用字符串数据类型的变量名来访问这个变量的值python面向对象中的反射,通过字符串的形式操作对象相关的属性.python中一切都是对象(都可以使用反射)反射的方法: getattr 获取属性 hasattr 检测是否函数某属性 setattr 设置属性 delattr 删除属性class Foo: f = "...
2018-07-30 21:40:00
67
转载 面向对象--内置函数
isinstance() 判断所属类型,包括继承关系issubclass() 判断类与类之间的继承关系class A: passclass B(A): passb = B()print(isinstance(b,B))print(isinstance(b,A))l = list()print(l) # []print(t...
2018-07-30 20:44:00
97
转载 python面型对象
类(定义) 静态属性 类属性(变量) 直接写在类中,全大写 动态属性 方法(函数) self 类方法 @classmethodd cls 静态方法 @staticmethod 没有默认参数 选课系统 专门给面向对象编程的时候的函数准备的 特性 @propertyclass Person: @staticmet...
2018-07-30 20:28:00
85
转载 迭代器
一.函数名的应用,第一类对象 1.函数名是一个变量,但它是一个特殊的变量,与括号配合可以执行函数的变量 1.函数名的内存地址 2.函数名可以赋值给其他变量 3.函数名可以当做容器类的元素 4.函数名可以当做函数的参数 5.函数名可以作为函数的返回值二.闭包就是内层函数,对外层函数,(非全局变量的引用,叫闭包) 使用函数名.__...
2018-07-17 19:24:00
72
转载 字典、列表、字符串转换关系
python 列表转为字典的两个小方法1、现在有两个列表，list1 = ['key1','key2','key3']和list2 = ['1','2','3']，把他们转为这样的字典：{'key1':'1','key2':'2','key3':'3'}>>>list1 = ['key1','key2','key3']>>>list2 ...
2018-07-12 09:50:00
81
转载 基础题
1，老男孩好声音选秀大赛评委在打分的时候呢, 可以进行输入.假设, 老男孩有10个评委.让10个评委进行打分, 要求, 分数必须大于5分, 小于10分.# lis = []# count = 1# flag = True# while flag and count <11:# appraise = input("请{}评委打分:".format(co...
2018-07-10 13:32:00
125
转载 作业相关
1，有如下变量（tu是个元祖），请实现要求的功能# tu = ("alex", [11, 22, {"k1": 'v1', "k2": ["age", "name"], "k3": (11, 22, 33)}, 44])# a.讲述元祖的特性# 元祖:不可变的列表,又被称为只读列表# b.请问tu变量中的第一个元素"alex"是否可被修改？# 元祖查询可以,循环可...
2018-07-10 13:27:00
77
转载 基础相关面试题
1，写代码，有如下列表，按照要求实现每一个功能li = ["alex", "WuSir", "ritian", "barry", "wenzhou"]1)计算列表的长度并输出print(len(li))2)列表中追加元素"seven",并输出添加后的列表li.append("Tony")print(li)3)请在列表的第1个位置插入元素"Tony",并输出...
2018-07-10 13:23:00
79
转载 基础
1.有变量name = "aleX leNb" 完成如下操作：# 1)移除 name 变量对应的值两边的空格,并输出处理结果name = "aleX leNb"print(name.strip())# 2)移除name变量左边的"al"并输出处理结果print(name.split("al"))print(name.lstrip("al"))print(n...
2018-07-10 13:14:00
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人