- 博客(16)
- 收藏
- 关注
RSS订阅原创 virtualenv虚拟环境搭建
虚拟环境作用：虚拟环境可以搭建独立的运行环境, 使得单个项目的运行环境与其它项目互不影响。 所在目录：虚拟环境都位于/home/下的隐藏目录.virtualenvs下。如何搭建? 安装虚拟环境命令：sudo pip install virtualenvsudo pip install virtualenvwrapper安装完虚拟环境后，如果提示找不到mkvirtualenv命...
2018-08-23 15:36:47
284
原创 二叉树的实现
一、创建二叉树'''1.完全二叉树的，使用链表形式存储数据。2.按照，从上往下，从左往右的顺序。3.二叉树是有序树。'''class Node(object): def __init__(self, item): # 创建接收节点数据 self.item = item # 指向左右子节点 self.lch...
2018-08-22 16:41:16
196
原创 递归--一个简单的例子
python中，函数是储存在栈中，遵循栈的先进后出规则。在递归函数中，函数按照先进后出规则入栈。然后再按照后进先出规则出栈。看下边例子：def t(n): if n == 0: return print('*' * n) t(n - 1)t(5)'''输出结果：t(5)调用t(4),t(4)调用t(3)...直到最终t(0)retur...
2018-08-20 23:24:48
507
原创 一个简单的单向链表
首先简单介绍单链表：单链表结构节点包含：信息域（元素域）、链接域元素域：存放具体数据链接域：存放下一个节点的位置（标识）从头节点位置可以找到表中任意节点上代码：'''创建节点类和链表类'''# 定义单链表节点class Node(object): def __init__(self, item): # item存放数据的元素 ...
2018-08-20 15:36:23
351
原创 Git常用命令
工作区添加、修改、删除文件操作版本库包含暂存区和仓库区暂存区小阶段存储仓库区版本可以回退提交git本地仓库操作# 创建本地仓库git init# 配置个人信息git config user.name 'mikasa'git config user.name '333@163.com'# 查看文件状态git status# 添加到...
2018-08-19 21:15:14
210
原创 力荐一款英语学习好帮手---Lingvist
这是一款号称200小时可以学会一门外语的AI软件，不，应该叫她老师—-无微不至的那种~并且！！！Lingvist 在你学习期间会进行实时调整以匹配你的学习进展和记忆模式，保证最短的学习时间！！！厉害吧！她由量子物理学博士（在欧洲核子研究中心工作，忘了谁了）倾情打造！融合量子物理算法和机器学习，可以说是十分Intelligencel了！除了基础的背单词，更有会话、语法、听力、阅读包你学个...
2018-08-12 13:06:41
573
原创 Scrapy请求丢失情况
请求丢失场景： 在项目运行的过程中，Ctrl+C 主动终止进程，或爬虫代码异常等程序非正常结束的情况下，获取数据的过程没有完成，但某个request对象已经从队列中取出。此时fp指纹集合中已经存在了该指纹，再次启动该项目时，因为设置了请求去重，无法再发出该请求。解决方案： 1.添加一个请求备份容器。2.给request对象设置一个重试次数的属性。...
2018-08-11 09:59:59
1844
原创 数据库优化--数据库设计优化
一、索引优化1.首先索引不是越多越好，要视情况而定。因为索引会降低insert和update的效率（insert和update有时可能会重建索引。）2.一个表的索引数量最好不要超过6个，择优而建。3.项目上线后，根据用户的查询条件字段稍微调整数据库中的字段索引。二、分表1.纵切：根据表字段来且分出多个表结构。2.横切：根据表记录（数据行）切分出多个表结构。三、分库1...
2018-08-10 12:11:28
217
转载 数据库优化方案--sql语句优化
1.不轻易使用select * from t,用具体的字段列表代替 *,不要返回用不到的字段。2.尽量避免在where子句中对字段进行null 值判断，否则将导致引擎放弃使用索引而进行全表扫描。3.尽量避免在where语句中使用 != 或<>操作符，否则将导致引擎放弃使用索引而进行全表扫描。4.尽量避免在where子句中使用or来连接条件，如果一个字段有索引，一个字段没有索...
2018-08-10 12:08:11
220
转载 数据库脏数据
数据库中常见的并发操作所带来了一致性问题包括：丢失的修改，不可重复读，读“脏”数据，幻读。1.丢失的修改：一个事物的更新覆盖了另一个事物的更新。例如：事物A和B读入同一数据并修改，B提交的结果破坏了A提交的结果，导致A的修改被丢失。2.不可重复读：一个事物两次读取同一个数据，两次读取的数据不一致。不可重复读是指事物A读取数据后，事物B执行更新操作，事务A 无法再现前一次读取结果。a.事...
2018-08-10 11:57:12
569
原创 HTTP协议
HTTP:超文本传输协议(是无状态协议)1.位置：处在网络传输模型的应用层。2.TCP/IP四层模型：应用层（HTTP）、传输层(TCP)、网络层(IP)、链路层(网线等) 。3..浏览器发送HTTP请求的过程：1.用户输入网址.2.浏览器请求DNS服务器, 获取域名对应的IP地址.3.请求连接该IP地址服务器.4.发送资源请求. (HTTP协议)5.web服务器接...
2018-08-09 22:15:21
219
原创 HTTP与HTTPS的区别
HTTP：1.端口：802.数据明文传输，不安全，但效率高HTTPS：1.构成：HTTP+TLS/SSL，SSL为安全套接字层，现在一般用TLS加密，TLS为SSL的升级版。2.作用：1.建立一个信息安全通道，保证数据传输安全 。2.确认网站真实性。3.端口：4434.数据密文传输，安全，但效率低，SSL证书要钱...
2018-08-09 21:50:08
322
原创 Python中，获取字符串里的数字串并打印，一串数字打印一行。
先使用列表生成式，取到字符串中的数字 使用''.join()转换成字符串 切片打印 a = 'adfsdf1324dfsdfuu8908098sdfs'b = ''.join([i for i in a if i.isdigit()])c = b[:4]d = b[4:]print(c)print(d) ...
2018-08-08 15:44:05
3239
原创 Scrapy爬虫改为Scrapy-Redis增量式爬虫
如何把一个Scrapy项目改造成Scrapy-Redis增量式爬虫前提: 安装Scrapy-Redis1.原有的爬虫代码不用改动2 在setting配置文件中添加如下配置1. 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFP...
2018-08-07 14:29:42
6366
2
原创 Scrapy框架--下载中间件的process_request和process_response方法解析
def process_request(self, request, spider): # Called for each request that goes through the downloader # middleware. # 每个交给下载器的request对象都会经过该方法，并期望返回response # Must ...
2018-08-07 11:56:56
11395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人