- 博客(89)
- 收藏
- 关注
转载 Python--Flask Django等常用库总结
Python 资源大全中文版我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表,内容包括:Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由伯乐在线持续更新。 Awesome 系列虽然挺全...
2018-09-08 19:05:02 2850 1
转载 Python 自身的资源何其多?上千个库了解一下,带说明书!
环境管理管理 Python 版本和环境的工具p – 非常简单的交互式 python 版本管理工具。pyenv – 简单的 Python 版本管理工具。Vex – 可以在虚拟环境中执行命令。virtualenv – 创建独立 Python 环境的工具。virtualenvwrapper- virtualenv 的一组扩展。包管理管理包和依赖的工具。pip – Python ...
2018-09-08 15:04:47 1050
转载 Python的九个面试考题知识点和Python学习资料分享
【前言】Python学习资料在文章的结尾。对缺省参数的理解。给出代码缺省参数在python中是与函数绑定在一起的。也就是说,一个函数中定义了一个缺省参数,那么这个参数会随着被调用而改变。解释说明:许多人会错误的认为 list1 应该等于 [10] 以及 list3 应该等于 [‘a’]。认为 list 的参数会在 extendList 每次被调用的时候会被设置成它的...
2018-09-08 13:45:09 509
原创 我整理了一些Python测试的库,看一下有没有你需要的库
测试开发 Web UI测试自动化 splinter - web UI测试工具,基于selnium封装。 selenium - web UI自动化测试。 –推荐 mechanize- Python中有状态的程序化Web浏览。 selene - 使用Python + Ajax支持+ PageObjects + Widgets进行简明UI测试 hitch - 基于服务的应用程序的高级集...
2018-09-03 21:50:53 1986 1
转载 你要怎么样才能教会你的女朋友编写 Python?
什么是code?code就就是一种语言,一种计算机能读懂的语言。计算机是古板的,她无法理解默认两可的任何东西。比如,你让你女朋友去买个芒果,你的女朋友会自己决定去哪里买,买几个,找个搞活动打折的买,总之,你给她钱,她就给你买回来让你吃到爽的芒果。但是,你想让计算机买一个芒果?你要告诉她:去门口的鲜丰水果店买,买没有黑斑的芒果,若旁边的店打折,就去旁边的店买。总之,你不能让计算机做任何决定,你要...
2018-08-23 23:16:33 337
原创 我将Python面试中经常出现的考题进行了整理,希望能对你有所帮助
整理了Python面试后的笔记,将面试过程中经常被面试官问到的一些问题进行了整理。希望能对你有所帮助。1、Python基本语法1、@staticmethod 和 @classmethodPython中有三种方法,实例方法、类方法(@classmethod)、静态方法(@staticmethod)。类方法的第一个参数是cls,表示该类的一个实例,静态方法基本上和一个全局函数相同...
2018-08-22 22:00:12 731 1
原创 在Python如今的版本中,你居然不会f-strings字符串格式化方法?
在Python 3.6的版本中,Python提供了一种新的字符串格式化方法:f-strings,它不仅比其它的格式化方式更易读,更简洁,更不容易出错,并且它们也更快!首先,我们先了解一下现有的字符串格式化方法。Python 在 3.6 的这一个版本之前,字符串格式化方法主要有两种:%格式化 和 str.format()。下面我们先来简单的看一下它们的使用方法,以及局限。1 %-格式化...
2018-08-21 21:56:34 2222
原创 如果看完这一篇文章你还不理解 Python 装饰器,只有一种可能……
如果看完这一篇文章还不理解装饰器,这说明我写的还不够清晰、详细,那请鼓励鼓励我吧。讲 Python 装饰器前,我想先举个例子,虽有点污,但跟装饰器这个话题很贴切。谈装饰器前,还要先要明白一件事,Python 中的函数和 Java、C++不太一样,Python 中的函数可以像普通变量一样当做参数传递给另外一个函数,例如:正式回到我们的主题。装饰器本质上是一个 Python 函数或...
2018-08-21 21:52:53 225
原创 用Python来制作生成自动报表(Excel),并把它以邮件的形式发送
数据分析师每天肯定都被各种各样的数据数据报表搞得焦头烂额,老板的,运营的、产品的等等。并且大部分的报表都是重复性的工作,而这篇文章就是要帮助大家如何运用Python来实现报表的自动发送,解放你的劳动力,可以让你有时间去做更有意思的事情。小编整理了数十套Python的学习资料,进群免费领取:834179111好了,我们回到正题。首先来介绍下实现自动报表要使用到的Python库:...
2018-08-20 22:58:32 21963
转载 分享Python使用MySQL数据库(新)
一,安装mysql如果是windows 用户,mysql 的安装非常简单,直接下载安装文件,双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单,除了下载安装包进行安装外,一般的linux 仓库中都会有mysql ,我们只需要通过一个命令就可以下载安装:Ubuntu\deepin>>sudo apt-get install mysql-server ...
2018-08-15 22:46:03 158
转载 分享 Python补充03 Python内置函数清单
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。Python内置(built-in)函数随着python解释器的运行而创建。在Python的程序中,你可以随时调用这些函数,不需要定义。最常见的内置函数是:print("Hello World!")在Python教程中,我们已经提到下面一些内置函数:基本数据类型 typ...
2018-08-15 22:37:23 166
转载 分享 Python快速教程 尾声
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!写了将近两年的Python快速教程,终于大概成形。这一系列文章,包括Python基础、标准库、Django框架。前前后后的文章,包含了Python最重要的组成部分。这一内容的跨度远远超过我的预期,也超过了我看过的任何Python相关书籍。最初动笔的原因,除了要总结,还对很多Pyt...
2018-08-15 22:32:53 253
原创 今天给大家分享一篇Python的内存管理,有兴趣的可以进来看一下
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!Python学习交流群:834179111,群里有很多的学习资料。欢迎欢迎各位前来交流学习。对象的内存使用赋值语句是语言最常见的功能了。但即使是最简单的赋值语句,也可以很有内涵。Python的赋值语句就很值得研究。整数1为一个对象。而a是一个引用。利用赋值...
2018-08-15 20:37:21 351
原创 今天我给大家分享下用Python在网络上抓取,新浪新闻的一些数据
【前言】 Python学习交流群:834179111,群里有很多的学习资料。欢迎欢迎各位前来交流学习。 爬取前的准备: jsonJavascript 对象用requests可获取网页信息用BeautifulSoup可以将网页信息转换为可以操作的物块用beautifulSoup中的select方法可以获取相对应的元素,并且获取的元素为list形式,可以...
2018-08-15 20:35:03 2121
原创 教大家来使用Python——looter来制作速度又快效率又高的网络爬虫
最近的几年里,网上的爬虫教程日益增多,从urllib开始,到requests和selenium的这类高级库,实际上,我们有很多的可能都用不到,所以不用这么费心费力地去了解那么多你可能用不到的东西。学习爬虫也就是:发起请求——解析数据——存储数据,这样就可以把简单的爬虫给写出来了。所以我教你用——looter来写一个又高效又快速的爬虫。安装只支持Python3.6及以上版本。...
2018-08-15 19:53:45 2535 2
原创 趣味的Python解包方法
python中的解包你可以这个样子来理解:一个list是一个整体,想把list中的每一个元素都当成一个个个体剥离出来,这样的一个过程就是解包,让我们先来看下面的这一些例子(总共分为12个部分)。1.将list的每一个元素都赋值给一个变量>>> name‘Bob’>>> age20>>> date&...
2018-08-15 19:47:09 326
转载 给大家分享一篇 tkinter python(图形开发界面)
Tkinter模块(“Tk 接口”)是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.Tk8.0的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中。目录: 1、简单实例 2、Label控件 3、Button控件 4、Entry控件 5、点击按钮输出...
2018-08-15 15:10:51 11225
转载 给大家分享一篇 协程与多线程的合作
概览场景 实现 方法 总结 1. 场景在写异步爬虫时,发现很多请求莫名其妙地超时。原来是因为解析网页耗费了太多时间,使得部分请求超过预定时间。根本上是因为,asyncio 的协程是非抢占式的。协程如果不主动交出控制权,就会一直执行下去。假如一个协程占用了太多时间,那么其他协程就有可能超时挂掉。下面我们用一个简短的程序实验一下。import asyncioimp...
2018-08-14 20:53:24 1900
转载 给大家分享一篇 理解python中的yield关键字
想必大家都看到过这样的代码:def generate_square(n): i = 0 while i < n: yield i * i i += 1result = generate_square(10)print(list(result))上面的这段代码会计算0-9的平方并打印出来。那么问题来了,这段代码和下面的这段代...
2018-08-14 20:39:34 421 2
转载 给大家分享一篇 http上传协议之文件流实现,轻松支持大文件上传
最近在公司进行业务开发时遇到了一些问题,当需要上传一个较大的文件时,经常会遇到内存被大量占用的情况。公司之前使用的web框架是一个老前辈实现的。在实现multipart/form-data类型的post请求解析时, 是将post请求体一次性读到内存中再做解析的,从而导致内存占用过大。而我之前为公司开发的框架ShichaoMa/star_builder github.com 图标 是基于...
2018-08-14 20:36:34 9249 1
转载 给大家分享一篇 looter——超轻量级爬虫框架
如今,网上的爬虫教程可谓是泛滥成灾了,从urllib开始讲,最后才讲到requests和selenium这类高级库,实际上,根本就不必这么费心地去了解这么多无谓的东西的。只需记住爬虫总共就三大步骤:发起请求——解析数据——存储数据,这样就足以写出最基本的爬虫了。诸如像Scrapy这样的框架,可以说是集成了爬虫的一切,但是新人可能会用的不怎么顺手,看教程可能还会踩各种各样的坑,而且Scrapy本身体...
2018-08-14 20:26:10 704
转载 给大家分享一篇 python有趣的解包用法
python中的解包可以这样理解:一个list是一个整体,想把list中每个元素当成一个个个体剥离出来,这个过程就是解包,我们来看下面这些例子(分为12个部分)。1.将list中每个元素赋值给一个变量>>> name, age, date = ['Bob', 20, '2018-1-1']>>> name'Bob'>>> ag...
2018-08-14 20:21:27 1403
转载 给大家分享一篇 简单两步,大幅提高python数据处理速度
在数据分析领域,最热门的莫过于Python和R语言。其中,数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据,相比较于Numpy,Pandas可以存储混合的数据结构,同时使用NaN来表示缺失的数据,而不用像Numpy一样要手工处理缺失的数据,并且Pandas使用轴标签来表示行和列。一般来说,用pandas处理小于100兆的数据,性能不是问题...
2018-08-11 22:44:33 6628
转载 给大家分享一篇 Python元编程:控制你想控制的一切
很多人不理解“元编程”是个什么东西,关于它也没有一个十分准确的定义。这篇文章要说的是Python里的元编程,实际上也不一定就真的符合“元编程”的定义。只不过我无法找到一个更准确的名字来代表这篇文章的主题,所以就借了这么一个名号。副标题是控制你想控制的一切,实际上这篇文章讲的都是一个东西,利用Python提供给我们的特性,尽可能的使代码优雅简洁。具体而言,通过编程的方法,在更高的抽象层次上对一种...
2018-08-11 22:38:23 575
转载 给大家分享一篇 一键获取免费真实的匿名代理
昨天闲来无事,实现了一个代理工厂,该程序自动从网上抓取免费代理(实现了9个代理网站哦),并对代理的可用性和匿名性进行检查,同时定时检查有效代理和无效代理,对于多次检查始终无效的代理,做放弃处理。同时检查函数可以自定义指定,用来针对不同的检查结果做出不同的反应。当然代理网站也可以自定义,简单的几行代码几条配置信息,实现最大限度的free-style。网上抓取免费代理的小程序已经很多了,那为什么我...
2018-08-11 22:26:13 13926
转载 给大家分享一篇 一种Python全局配置规范以及其魔改
0x01 模块 or global很多初学者有个误区,就是在Python中需要配置一个全局的参数时,首先想到的是global关键字,而实际上global不是干这个事的,global的功能是在将局部作用域的变量声明为全局的,这样可以在局部修改全局的变量。但这种用法其实非常不好,按照函数式的规范而言,纯函数的输入应该只由输入参数确定,不应该在执行过程中引用外部变量。并且,global也不是用来...
2018-08-11 22:10:30 1082
转载 给大家分享一篇 从零开始构造邻近分类器KNN
起步本章介绍如何自行构造 KNN 分类器,这个分类器的实现上算是比较简单的了。不过这可能需要你之前阅读过这方面的知识。前置阅读分类算法之邻近算法:KNN(理论篇)分类算法之邻近算法:KNN(应用篇)欧拉公式衡量距离关于距离的测量方式有多种,这边采用欧拉距离的测量方式:对应的 python 代码:import mathdef euler_distance(p...
2018-08-11 22:07:18 425
转载 给大家分享一篇 python +splinter自动刷新抢票
一年一度的春运又来了,今年我自己写了个抢票脚本。python +splinter自动刷新抢票,可以成功抢到(依赖自己的网络环境太厉害,还有机器的好坏),但是感觉不是很完美,有大神请指导完善一下(或者有没有别的好点的思路)不胜感谢# -*- coding: utf-8 -*-"""@author: liuyw"""from splinter.browser imp...
2018-08-11 22:02:28 2569 1
转载 给大家分享一篇 python大法好,word, pdf变身html没烦恼
【README.md】Hi 我是栗子君,一枚身在美帝的小程序员。我工作的公司加上老板一共有五个人:老板迈叔,维持着一切事物让业务不至于垮掉的产品经理田田,颜值担当吉米还有吐槽担当的我,还有刚刚加入的酷炫小哥DJ。就像银魂里的万事屋,我们经常会接到各种客户奇奇怪怪的委托,每天都要面对不一样的技术问题。生活在充满挑战的环境里的我决定开通这个专栏,来记录每一个挑战,每一次尝试,每一种解决方案...
2018-08-11 22:00:50 1286
转载 给大家分享一篇 python-S01E01好用的列表
【要点抢先看】 1.python中的容器数据类型概述 2.列表类型的异构性、有序性和本地可变性三大优势 2.列表的基本操作(增、删、改、分片索引) 3.列表的分片赋值与本地排序【妹子说】今天开始学python啦,不过我们从哪里开始学起呢?Python中有一种被称之为“容器”的数据类型,专门用来存放其他类型的对象,就好比小时候用的文具盒,里面放着铅笔、尺子、橡皮等...
2018-08-11 21:41:09 130
转载 python 题目:斐波那契数列计算;题目:站队顺序输出;题目:合法括号组合的生成;题目:用户登录(三次机会)
斐波那契数列计算 B描述斐波那契数列如下:F(0) = 0, F(1) = 1F(n) = F(n-1) + F(n-2)编写一个计算斐波那契数列的函数,采用递归方式,输出不超过n的所有斐波那契数列元素调用上述函数,完成如下功能:用户输入一个整数n,输出所有不超过n的斐波那契数列元素、输出数列的元素和及平均数,输出按照顺序,用英文逗号和空格分割此题目为自动评阅,请严...
2018-08-10 15:33:13 660
转载 用python 画个小猪佩奇
不知道大家小时候有没有学习过logo语言,就是操纵一只小王八,来画各种图案。博主小学微机课就学习了这个,最近发现python的turtle包就是logo语言,所以画个小猪佩奇和大家分享。代码来自知乎,但是源码中没有缩进,博主debug之后,将可直接运行的代码发在文中。#!/usr/bin/python# -*- coding: utf-8 -*-import turtle as ...
2018-08-10 15:24:46 1423
转载 给大家分享一篇 Python正则进阶
1.Python正则表达式模块1.1 正则表达式处理字符串主要有四大功能 匹配 查看一个字符串是否符合正则表达式的语法,一般返回true或者false 获取 正则表达式来提取字符串中符合要求的文本 替换 查找字符串中符合正则表达式的文本,并用相应的字符串替换 分割 使用正则表达式对字符串进行分割。 1.2 Python中re模块使用正则表达式的两种方法 使用re.compile(r...
2018-08-09 14:00:28 326
转载 给大家分享一篇 python中的decorator的作用
1、概念装饰器(decorator)就是:定义了一个函数,想在运行时动态增加功能,又不想改动函数本身的代码。可以起到复用代码的功能,避免每个函数重复性编写代码,简言之就是拓展原来函数功能的一种函数。在python中,装饰器(decorator)分为函数装饰器和类装饰器两种。python中内置的@语言就是为了简化装饰器调用。列出几个装饰器函数:打印日志:@log检测性能:@perfo...
2018-08-09 13:52:38 479
转载 给大家分享一篇 python web开发框架 定制ORM
在开始编写ORM模块之前,我们需要先对db_helper进行重构,因为ORM最终生成的sql是需要转给db_helper来执行的,所以拥有一个功能完善、健壮的数据库操作类是非常必要的。 这是项目原db_helper.py代码#!/usr/bin/env python# coding=utf-8import psycopg2from common import log_help...
2018-08-09 13:45:41 238
转载 给大家分享一篇 如何获取本地ip和公网ip
import socketdef get_local_ip(): ''' 获取本地ip地址 :return: ''' s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) try: s.connect(('8.8.8.8', 80)) local_ip = s.g...
2018-08-09 13:40:37 4047
转载 给大家分享一篇 用Python抓取漫画并制作mobi格式电子书
想看某一部漫画,但是用手机看感觉屏幕太小,用电脑看吧有太不方面。正好有一部Kindle,决定写一个爬虫把漫画爬取下来,然后制作成 mobi 格式的电子书放到kindle里面看。一、编写爬虫程序 用Chrome浏览器打开目标网站,按下F12 启动“开发者人员工具”,分析目标网站的代码,看漫画存放的真实地址。现在网站的防护措施都做的很好,基本不会出现“右键”——“图片另存为” 然后保存漫...
2018-08-09 13:38:35 2682
转载 给大家分享一篇 Python 异常处理
一、 异常概念Python在执行代码之前,会进行语法检查,如果语法出错了,会抛出语法错误(SyntaxError)。Python程序运行期间检测到的错误被称为异常。内置异常:BaseException:所有异常的基类错误类异常(发生之后,如果不捕获,将会导致程序终止): SystemExit:解释器请求退出 KeyboardInterrupt:用户中断执行(通常是输...
2018-08-09 12:01:18 189
转载 给大家分享一篇 一个Quicksort究竟可以写到多么短
一个Quicksort究竟可以写到多么短说实话,我从来没有能一次写对一个快速排序,总是有各种各样的错误。 快排麻烦就麻烦在,没办法去调试它,因为它是生成递归的,只能去静态调试,或者是不断的打印数组的状态以推测错误的可能性。 然而快排的基本思想却是极其简单的:接收一个数组,挑一个数,然后把比它小的那一摊数放在它的左边,把比它大的那一摊数放在它的右边,然后再对这个数左右两摊数递归的执行快排过程,...
2018-08-09 11:38:48 296
转载 给大家分享一篇 etlpy: 并行爬虫和数据清洗工具(开源)
etlpy是python编写的网页数据抓取和清洗工具,核心文件etl.py不超过500行,具备如下特点爬虫和清洗逻辑基于xml定义,不需手工编写基于python生成器,流式处理,对内存无要求内置线程池,支持串行和并行处理内置正则解析,html转义,json转换等数据清洗功能,直接输出可用文件插件式设计,能够非常方便地增加其他文件和数据库格式能够支持几乎一切网站,能自动填入cooki...
2018-08-09 11:26:53 3300 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人