python_in_practice
文章平均质量分 66
工作中常用的python方法以及技巧
FishBear_move_on
github 地址 https://github.com/Jayhello
展开
-
mysql按照天分区月表
背景,每天需要向mysql中插入大概5KW数据,数据主要是插入,与查询基本不会update,由于量大需要查询因此想创建天表,但是缺点在于: 每天一张表也比较麻烦 假设现在要查询几天的数据,还得查询多张表,最终合并查询结果,这一点十分麻烦 这时可以考虑用一张月表,每一天的数据一个分区表,而分区表对于用户是透明的。下面给出一个简单的示例,仅仅为了展示:CREATE TABLE `au原创 2017-11-28 19:55:13 · 3735 阅读 · 0 评论 -
python flask音频流/文件服务
工作需要需要搭建一个音频推送服务,考虑到使用python Flask搭建一个服务,下面给出简单的代码每次请求仅仅推送当前目录下的音频文件。# _*_coding:utf-8 _*_from flask import Flaskfrom flask import Responseapp = Flask(__name__)@app.route('/audio/pcm_mp3/<file_key>原创 2017-11-28 20:15:19 · 9665 阅读 · 3 评论 -
决策树python sklearn 示例
本文主要是使用python sklearn,完成决策树的demo,以及可视化,最终生成的决策树结果。from sklearn.datasets import load_irisfrom sklearn import treefrom sklearn.tree import export_graphvizimport subprocessdef visualize_tree(tree, fea原创 2017-10-11 20:47:58 · 9568 阅读 · 5 评论 -
win64 python pydot安装配置
本文主要是win10,下面anaconda安装pydot以及 .dot文件转化为png。1. 安装pydot pip install pydot2. 安装GraphViz链接如下: http://www.graphviz.org/Download_windows.php下载完成点击安装,选择好安装目录之后即可。最终将安装路径添加到,环境变量中。3. 重启pycharmfrom sklearn原创 2017-10-11 09:36:29 · 5370 阅读 · 0 评论 -
python感知机实现
感知机(perceptron)作为机器学习的基础,理解了感知机的原理以及实现,就基本知道机器学习的本质了: “通过对错误数据集的学习,不断调整更新自身的参数,使得模型参数对当前系统的输入数据集,得到最佳输出”上面是自己个人的理解。 本文主要是参考了李航的《统计学习方法》,然后使用python实现了感知机,并对二维数据集进行分类,验证了算法的有效性。本文主要内容如下:感知机基本原理算法原创 2017-09-22 21:05:50 · 7180 阅读 · 1 评论 -
knn K近邻算法python实现
本文主要内容:knn K近邻算法原理sklearn knn的使用,以及cross validation交叉验证numpy 实现knnknn改进方法1 knn K近邻算法原理K近邻算法:给定一个训练数据集,对新的的输入实例,在训练数据集中找到与该实例最邻近的的K个实例,这K个实例的多数属于某个类,就把该实例分为这个类。KNN 是 supervised learning, non parame原创 2017-10-08 21:06:34 · 6855 阅读 · 0 评论 -
caffe python 图片训练识别 实例
本文主要是使用caffe python做图片识别的示例包括训练数据lmdb生成,训练,以及模型测试,主要内容如下:训练,验证数据lmdb生成,主要包括:样本的预处理 (直方图均衡化,resize),训练样本以及验证样本的lmdb的生成,以及mean_file mean.binaryproto生成caffe中模型的定义,主要是修改 caffe Alexnet 训练文件train_val.proto原创 2017-09-09 21:36:41 · 17102 阅读 · 2 评论 -
python文件常用操作
python (glob os.path)常用文件操作:python excel 操作python批量重命名目录下(单个或者多个)文件目录以及文件名的一些操作(获取文件名不要扩展名without extension)text 文件的读取例如: 前面测试图片识别的时候需要将测试结果写到excel中 像这样批量重命名文件的话在linux中有很多常用的命令具体看我的bolg直接上代码了#原创 2017-08-29 14:40:08 · 589 阅读 · 0 评论 -
python scrapy多进程新闻爬虫
3月份的时候,由于工作需要使用python+scrapy框架做了一个新闻舆情的爬虫系统,当时任务比较紧自己也没有搞过爬虫,但最终还是较好的完成了任务,现在把做的大致思路记录分享一下。首先,展示一下部分截图吧: 本文主要内容如下:开发背景开发的大致思路代码框架的介绍开发背景近两年国家对网络的内容监管十分的严格,前一两年被称为“网络直播年”因此出现了有很多直播公司。我们需要第一原创 2017-08-28 21:16:37 · 11094 阅读 · 9 评论 -
python multiprocessing dummy Pool 使用
本文内容:python multiprocessing.dummy Pool多线程、进程任务队列使用http压力测试简单示例工作中有个常用的场景,比如现在需要下载10W张图片,我们不可能写个for循环一张一张的下载吧,又或者是我们做个简单的HTTP压力测试肯定是要使用多个,进程或者线程去做(每个请求handler,会有一个参数(所有的参数生成一个队列))然后把handler和队列map到Poo原创 2017-08-28 09:39:26 · 18271 阅读 · 0 评论 -
python list常用方法
python有关list的常用方法:list 中if表达式的使用list shift移位list 某一列的删除xrange 使用list翻转reverselist按照lambda排序直接贴代码吧,里面有注释还是比较好理解def lst_condition(): lst = [0, 1, 0, 3] print [a if a else 2 for a in lst]原创 2017-08-26 19:49:51 · 5383 阅读 · 0 评论