Python
文章平均质量分 90
薛定谔的DBA
这个作者很懒,什么都没留下…
展开
-
Python 发电子邮件示例
#!/usr/bin/env python# -*- coding: utf-8 -*-# python 3.5import reimport osimport smtplibfrom io import StringIOfrom validate_email import validate_emailfrom email.mime.text import MIMETextf...原创 2018-09-02 21:06:49 · 1141 阅读 · 0 评论 -
Python 绘图常用参数设置
import numpy as npimport pandas as pdimport matplotlib.pyplot as plt import matplotlib.patches as mpatchesfrom scipy.interpolate import splinex = np.arange(-5,11)y = x**3 + 2*(x**2) + x + 2y2原创 2018-01-29 15:15:13 · 1595 阅读 · 0 评论 -
Python 人物脸部识别
示例:import cv2import screeninfo#下载别人训练好的分类器模型classifier = cv2.CascadeClassifier(r'./opencv-master/data/haarcascades/haarcascade_frontalface_default.xml')#读取本地用于识别的图片img = cv2.imread(r'./girl.jpg...原创 2018-02-09 22:14:28 · 1429 阅读 · 0 评论 -
Python 实现计算机屏幕水印
原本有公司提议给业务系统加上水印,工作人员拍照可自动打上水印。同事开玩笑说应该给整个屏幕打上水印——“物理水印”。直接在显示器上设置水印?这不显示,想想python能不能实现,果然有人用python实现过。屏幕出现水印后,各个应用程序仍然可点击操作。主要模块:pip install tkinterpip install pypiwin32脚本:(文件名:watermark.py)import t...原创 2018-02-09 11:11:19 · 10338 阅读 · 4 评论 -
Python Pandas 二维数据处理与 T-SQL 对应关系
Pandas 是 python的一个数据分析包,它提供了大量的数据模型型和函数库,对数据处理很方便。DataFrame 是一个二维表格数据结构,可以当做数据库中的一张关系表。Pandas 可以实现 SQL 中的语句,对 DataFrame 的操作相当于对二维表操作一样。还是以股票某天的分笔记录为例。之前数据进行处理已经导入数据库。import numpy as npim原创 2017-12-30 11:34:43 · 2204 阅读 · 0 评论 -
Python 普通最小二乘法(OLS)进行多项式拟合
多元函数拟合。如 电视机和收音机价格多销售额的影响,此时自变量有两个。python 解法:import numpy as npimport pandas as pd#import statsmodels.api as sm #方法一import statsmodels.formula.api as smf #方法二import matplotlib.pyplot as plt原创 2018-01-31 18:29:14 · 76544 阅读 · 7 评论 -
Python selenium 身份证信息在线解析爬取
当做笔记:身份证地区查询,网络上的查询网站也比较多。现在查询数据库中的身份证,识别其中的信息。主要通过该网站:http://www.gpsspg.com/sfz/脚本:#-*- coding: utf-8 -*-# python 3.5.0import sqlalchemyimport pandas as pdfrom selenium import webdriver原创 2018-01-24 12:22:07 · 2611 阅读 · 2 评论 -
Python 多项式拟合(一元回归)
一元一阶线性拟合:假设存在一条线性函数尽量能满足所有的点:y=ax+b .对所有点的的公式为: 残差值β = 实际值y - 估计值y,β 应尽量小,当 β = 0 时,则完全符合一元线性方程:y=ax+b 通过最小二乘法计算残差和最小: 根据微积分,当 Q 对 a、b 的一阶偏导数为了0时,Q 达到最小。原创 2018-01-26 13:52:59 · 2553 阅读 · 0 评论 -
Python 确定多项式拟合/回归的阶数
通过 1至10 阶来拟合对比 均方误差及R评分,可以确定最优的“最大阶数”。import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegression,Perc原创 2018-01-31 12:20:31 · 11720 阅读 · 1 评论 -
Python 文件夹中的所有图片进行面部截图显示在一张图中
# coding:utf-8import osimport cv2from PIL import Image#选择分类器模型(下载地址:https://github.com/opencv/opencv/tree/master/data/haarcascades)classifier = cv2.CascadeClassifier(r'./opencv-master/data/haar...原创 2018-02-10 23:55:10 · 1060 阅读 · 0 评论 -
Python 图片转为字符图
from PIL import Imagestr = """@%&#*?-_+~!;:,"^`'.""" #从左至右,字符密度递减img = Image.open(r'D:/Python35/mypy/onpiece.jpg')img = img.resize((int(img.size[0]*0.5), int(img.size[1]*0.3)))#缩小(width,height)...原创 2018-02-11 10:09:19 · 480 阅读 · 0 评论 -
Python 省市转换百度经纬度并显示数据热力图
刚好本地数据库有各省市县/区的数据,现在打算统计一下各个城市的县区数量,并以热力图在地图上显示。(部分数据如下)本测试使用的是百度地图,首先先到百度地图开发平台注册一个个人开发账号。然后创建两个用于:服务端和浏览器端,每个应用都会有一个访问应用(AK),属于个人私钥。服务端应用主要用于根据城市读取经纬度,浏览器端应用主要用于地图显示,这两个的应用别搞错。(可能错误:百度未授权使用地图API)对于经...原创 2018-02-11 19:24:23 · 3918 阅读 · 0 评论 -
Python 获取 datax 执行结果保存到数据库
执行 datax 作业,创建执行文件,在 crontab 中每天1点(下面有关系)执行:其中 job_start 及 job_finish 这两行记录是自己添加的,为了方便识别出哪张表。#!/bin/bashsource /etc/profileuser1="root"pass1="pwd"user2="root"pass2="pwd"job_path="/opt/datax...原创 2018-08-08 13:17:07 · 5184 阅读 · 2 评论 -
Python Cookie 读取和保存
#保存 cookie 到变量import urllib.requestimport http.cookiejarcookie = http.cookiejar.CookieJar()handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)respon...原创 2018-06-10 20:36:26 · 6181 阅读 · 0 评论 -
Python 爬取携程所有机票
打开携程网,查询机票,如广州到成都。这时网址为:http://flights.ctrip.com/booking/CAN-CTU-day-1.html?DDate1=2018-06-15其中,CAN 表示广州,CTU 表示成都,日期 “2018-06-15”就比较明显了。一般的爬虫,只有替换这几个值,就可以遍历了。但观察发现,有个链接可以看到当前网页的所有json格式的数据。如下http://fl...原创 2018-06-10 03:04:32 · 37636 阅读 · 16 评论 -
Python Web 框架 Flask 入门示例
Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。官方建议使用 Python 2.6 或 2.7 开发, Python 3 还有些问题没解决。如已安装有 Python 3 了,可以使用 virtualenv 创建使用 python 2.7 的虚拟环境。示例比较简单,使用的数据库为 sqlite,因此先安...原创 2018-02-24 18:09:40 · 1266 阅读 · 0 评论 -
Python 3.5.2 及相关工具安装
Python下载地址:https://www.python.org/ftp/python/3.5.2/个人常用:pip install virtualenvvirtualenv -p /usr/bin/python2.7 --no-site-packages env_ansiblesource env_ansible/bin/activatepip listdeactiva...原创 2016-11-16 12:15:01 · 2644 阅读 · 0 评论 -
Python @修饰符示例理解
python 中当某个函数已经存在了,想在函数前执行相应的操作,但又不希望改掉原函数的定义,利用修饰符(Decorator)可实现该功能。一个基本的函数,可以直接执行调用,或者赋予变量再调用:class TEST: def func(self): print("func") if __name__ == "__main__": t = TEST() t.func() #print ...原创 2018-02-22 16:27:08 · 440 阅读 · 0 评论 -
Python 使用 selenium 实现半自动购买12306火车票
实现原理:1. 使用 selenium 模拟自动打开 chrome浏览器;2. (浏览器打开后)会自动填写账号密码,手动选择验证码并提交;3. 自动跳转选择“预定”及其单程购票设置;4. 循环查询余票:先按顺序查询所有车次二等座,没有再按顺序查询无座,如此循环;5. 发现余票后自动预定,并选择第一个乘客提交订单。注意:提交订单后若没有余票,不会自动返回(没写完整)。此外,如果失败,又得重头再来,尝...原创 2018-02-22 12:23:20 · 3724 阅读 · 0 评论 -
Python selenium 爬取天天基金网股票型基金
对于股票市场长期的判断,普通上班族没有多少时间和资料可以分析。那么,就应该借助基金机构选择的股票来分析,借助各基金经理管理的股票基金来统计,哪些股票是基金经理或团队分析购买的。所以选择的是股票型基金,最终将分析得出哪类股票是机构最多选择的,那只股票是机构购买最多的。利用基金经理们分析的结果,我们可选择相应的几只股票进行长期投资。先看看股票型基金,然后遍历某基金的股票持仓。原创 2018-01-02 23:32:00 · 6092 阅读 · 1 评论 -
Python 探索性数据分析(Exploratory Data Analysis,EDA)
探索性数据分析,主要针对原始数据进行初次了解。了解数据的分布情况、了解分析的方向灯。此脚本读取的是 SQL Server ,只需给定表名或视图名称,如果有数据,将输出每个字段符合要求的每张数据分布图。# -*- coding: UTF-8 -*-# python 3.5.0# 探索性数据分析(Exploratory Data Analysis,EDA)__author__ = '原创 2018-01-12 16:30:12 · 1879 阅读 · 0 评论 -
Python 卡方检验
卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴,主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。(更多参考:卡方检验、卡方分布) 不讲过多理论,主要使用 python 实现卡方验证。之前对于元素/特征/属性 异常值的选择情况,可以使用直方图、箱型图、Z分数法等筛选。如原创 2018-01-14 08:57:11 · 31936 阅读 · 1 评论 -
Python selenium自动化模拟登录操作(一)
Selenium Python 提供了一个简单的API 便于我们使用 Selenium WebDriver编写 功能/验收测试。 通过Selenium Python的API,你可以直观地使用所有的 Selenium WebDriver 功能 。Selenium Python提供了一个很方便的接口来驱动 Selenium WebDriver , 例如Firefox、Chrome、Ie,以及Remote,目前支持的python版本有2.7或3.2以上.原创 2017-12-07 12:35:15 · 17444 阅读 · 4 评论 -
Python 爬虫项目示例
Python 爬虫项目示例原创 2017-11-28 23:59:21 · 806 阅读 · 0 评论 -
Python 老男孩教学基础
#【py脚本文件、基本输出格式】#!/usr/bin/env pythonprint 'Hello word!'if Ture: print 'if test1' print 'if test2' aa=123bb='123'print type(aa)print type(bb)'''注释'''print '''aaabbbccc'''print "原创 2017-07-17 12:09:04 · 1826 阅读 · 0 评论 -
Open-Falcon 使用 python 监控发布中未分发的命令数
性能计数器监控参考 :SqlServer 监控发布中未分发的命令数但 open-falcon 不能监控 windows 性能计数器,因此只能自定义监控推送监控信息。open-falcon 使用 python 可以推送数据,因此需安装python(脚本使用python2.7)。自定义push数据到open-falcon 参考:自定义push数据到open-falcon #co...原创 2017-02-08 11:39:34 · 2108 阅读 · 0 评论 -
Python Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat)
在windows 平台下,当python使用以下方式安装时,可能出现以下错误:> python setup.py installerror: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat).原因:不同版本的 python 要求的 Visual C++ 本表不一样。如:Python原创 2017-02-08 13:28:44 · 8593 阅读 · 1 评论 -
Python JSON 基本操作
Python version : 3.4.4测试数据:import jsonaa = {"name": "kk", "age": 99 }bb = [ {"name": "mm", "age": 10},{"name": "qq", "age": 20},{"name": "hh", "age": 50} ]json模块提供的函数 json.dumps() 和 json原创 2017-02-07 11:15:04 · 2905 阅读 · 0 评论 -
Python 导出mysql数据到excel
环境 : win7 64 位+ python 3.4需要俩个库# 创建兼容微软 Excel 97/2000/XP/2003的电子表格(.XLS)文件xlwt # mysql 接口MySQL-python/MySQLdb安装(解压文件,进入下载目录)python setup.py install若没有安装Visual Studio,会出现以下错误:原创 2016-12-29 09:45:38 · 4256 阅读 · 0 评论 -
Python 爬虫:获取网页图片
#coding=utf-8import urllibimport reimport osweburl = "http://36kr.com/" #爬取网页tardir = "F:\\0000\\kk" #保存路径原创 2016-12-26 12:46:15 · 2283 阅读 · 0 评论 -
Python 读取mysql数据绘制条形图
Python 读取mysql数据绘制条形图原创 2017-11-21 15:57:35 · 5913 阅读 · 0 评论 -
Python selenium 拉钩爬虫
selenium 用作自动化测试工具,并非爬虫工具,用作爬虫性能没那么好。但既然可以读取网页信息,那还是可以用来爬取数据的。用该工具模拟访问,网站会认为是正常的访问行为。原创 2017-12-09 23:49:19 · 919 阅读 · 0 评论 -
Python selenium 后台运行模拟登录操作(三)
之前使用的是浏览器打开登录,现在测试在后台运行浏览器,对于爬取数据的话就没必要显示浏览器了。原创 2017-12-08 14:37:50 · 5830 阅读 · 1 评论 -
Python 股票历史分笔数据读取
Tushare 是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程,能够为金融分析人员提供快速、整洁、和多样的便于分析的数据,为他们在数据获取方面极大地减轻工作量,使他们更加专注于策略和模型的研究与实现上。原创 2017-12-29 00:24:34 · 10697 阅读 · 0 评论 -
Python 导入文件夹中所有excel并按列名读取插入数据库
模板示例:Python 导入文件夹中所有excel并按列名读取插入数据库原创 2017-12-25 11:23:10 · 5687 阅读 · 0 评论 -
Python 网页下载器和解析器
某教程网 python 爬虫视频 http://www.imooc.com/learn/563 有段代码在3.X中有变化。在 3.x 版本中 ,把 2.x 版本的模块 urllib2 合并为 urllib.request 。原创 2017-11-27 00:52:03 · 2469 阅读 · 0 评论 -
Python scrapy 爬取拉勾网招聘信息
Python scrapy 爬取拉勾网招聘信息。周末折腾了好久,终于成功把拉钩网的招聘信息爬取下来了。现在总结一下!原创 2017-12-04 01:51:35 · 5385 阅读 · 0 评论 -
Python 自定义数据库连接类
Python 自定义数据库连接类,从系统文件中读取数据库配置信息原创 2017-11-26 05:18:05 · 4696 阅读 · 0 评论 -
Python 列表、元组、集合、字典、Json、数组、矩阵 简单示例说明
Python 列表、元组、集合、字典、Json、数组、矩阵 简单示例说明原创 2017-12-13 11:39:00 · 3161 阅读 · 0 评论 -
Python 分词及词云绘图
支持三种分词模式:精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。关键词:HMM 隐马尔可夫模型三种分词模式:# -*- coding: utf-8 -*-import jieba#j原创 2017-11-23 09:49:48 · 1470 阅读 · 0 评论