2019年05月_Mr丶D

12月 10月 09月 08月 07月 06月 05月 04月 03月

原创俩种方法教你避免git push提交远程仓库每次输入用户名和密码

前言我们使用git提交代码到远程仓库（github、码云等）时，每次push 都会让输入用户名和密码。解决方式1 保存凭证我们在命令行输入以下命令git config --global credential.helper wincred然后我们查看下git的config文件vim ~/.gitconfig我们看到config文件夹里多了一行hepler == winc...

2019-05-31 12:15:33 6854 1

原创算法与数据结构（2）- 算法的复杂度

时间复杂度与“大O记法”我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位，那么有多少个基本操作就代表会花费多少时间单位。显然对于不同的机器环境而言，确切的单位时间是不同的，但是对于算法进行多少个基本操作（即花费多少时间单位）在规模数量级上却是相同的，由此可以忽略机器环境的影响而客观的反应算法的时间效率。对于算法的时间效率，我们可以用“大O记法”来表示。“大O记法”：对于单调的整...

2019-05-28 10:35:55 616

原创算法与数据结构（1）- 算法时间效率的分析

概述数据结构和算法是一名程序开发人员的必备基本功，不是一朝一夕就能练成绝世高手的。冰冻三尺非一日之寒，需要我们平时不断的主动去学习积累。引入先来看一道题:如果 a+b+c=1000，且 a^2 + b ^2 = c^2（a,b,c 为自然数），如何求出所有a、b、c可能的组合?我们使用穷举法和枚举来分析：循环遍历 a b c 满足条件的输出。代码如下：import tim...

2019-05-27 16:35:14 4008

原创爬虫与反爬虫

基本概念爬虫 - 自动获取网站数据的程序，关键是批量的获取反爬虫 - 使用技术手段防止爬虫程序的方法误伤 - 反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用成本 - 反爬虫需要的人力和机器成本拦截 - 成功拦截爬虫，一般拦截率越高，误伤率越高反爬虫的目的初级爬虫 - 简单粗暴，不管服务器的压力，容易弄挂网站数据保护 -失控的爬虫 - 由于某些情况下，忘记或者无...

2019-05-27 11:02:09 237

原创一篇文章彻底搞明白GIL

在双核cpu的ubuntu系统下执行代码单线程执行死循环while True: pass执行上面代码，单线程死循环已经占满了一个cpu核然后上面代码再次运行一份。相当于同时运行2个线程死循环程序，我们看到俩个核全部被占满多线程执行死循环import threading# 子线程死循环def test(): while True: pass t1 = th...

2019-05-25 14:05:22 518

原创 python单元测试用例设计

前言在刚学习编程的时候总是忘记处理一些特例(尤其是动态语言可以传各种值)，为了养成良好的编程和测试习惯，在编写单元测试用例的时候，我们注意考虑下如下测试用例(等价类划分)：正常值功能测试边界值（比如最大最小，最左最右值）异常值（比如 None，空值，非法值）实战操作def binary_search(array, target): if not array: ...

2019-05-24 14:37:18 1380

原创 nvm、npm、gulp的安装与使用

nvm简介nvm（Node Version Manager）是一个用来管理node版本的工具。我们之所以需要使用node，是因为我们需要使用node中的npm(Node Package Manager)，使用npm的目的是为了能够方便的管理一些前端开发的包！nvm的安装非常简单，步骤如下：到这个链接下载nvm的安装包：https://github.com/coreybutler/nvm-wi...

2019-05-16 17:04:29 1646

原创 jupyter notebook出现LookupError:unknow encoding:65001的解决

报错提示信息最近由于更换电脑，重新安装环境。在使用jupyter notebook出现如下报错：终端错误信息图：浏览器现实断开图：解决在终端中输入如下命令即可：set PYTHONIOENCODING=utf-8...

2019-05-10 16:29:15 905

原创 Scrapy-Redis创建分布式爬虫

Scrapy-Redis分布式爬虫组件Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。分布式爬虫的优点可以充分利用多台机器的带宽。可以充分利用多台...

2019-05-10 10:58:40 1663 1

原创 redis的安装与配置以及使用

redis概述redis是一种支持分布式的nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档：http://redisdoc.com/index.htmlredis使...

2019-05-07 14:56:47 288