Python
文章平均质量分 70
Rachel-Zhang
yiyan程序员 https://weibo.com/u/2607574543
展开
-
Python进阶(一)——安装Python、程序执行、Python模块和IDLE调试
近几年来,随着Google、YouTube、IRobot等大公司对Python语言的广泛使用,Python公司的身影经常出现与我们的视线,Python语言也在软件质量、开发效率、程序的可移植性、标准库的支持等方面成为了一个优秀的程序开发语言,可以完成网站、游戏开发到航空航天控制等领域的各种任务。本栏目希望通过学习《Python学习手册》和网站上的相关指导,从零学习Python,希望对大家有一些帮助原创 2012-08-08 11:21:33 · 66055 阅读 · 30 评论 -
RNN-RBM for music composition 网络架构及程序解读
RNN(recurrent neural network)是神经网络的一种,主要用于时序数据的分析,预测,分类等。RNN的general介绍请见下一篇文章《Deep learning From Image to Sequence》。本文针对对deep learning有一点基础(神经网络基本training原理,RBM结构及原理,简单时序模型)的小伙伴讲一下Bengio一个工作(RNNRBM)的原理和实现。本文重点内容:针对RNN(recurrent neural network)一个应用:musi原创 2014-10-04 20:11:35 · 21362 阅读 · 9 评论 -
kv文件读写 in Python & C++
文件格式均为kv对,即keylength, key, valuelen, value. 如何对其进行读写操作,本文列出demo code。感谢涛哥贡献部分代码,这里分享,方便大家使用。Python:def readimg(): fr = open('IMG_2963.JPG','r') keylen = struct.unpack('i',fr.read(4))[0] key = fr.re原创 2015-01-04 11:26:32 · 6260 阅读 · 2 评论 -
Python数据可视化——散点图
本文记录了python中的数据可视化——散点图scatter,令x作为数据(50个点,每个30维),我们仅可视化前两维。labels为其类别(假设有三类)。这里的x就用random来了,具体数据具体分析。label设定为[1:20]->1, [21:35]->2, [36:50]->3,(python中数组连接方法:先强制转为list,用+,再转回array)用matplotlib的scatter原创 2015-06-10 10:58:47 · 175413 阅读 · 24 评论 -
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)
python的编码问题一直是头痛,比如matplotlib画图只接受utf-8编码,如果没有设置就会在画图时报错。 有时间整整这个python编码;如标题所示,解决方案:加入import sysreload(sys)sys.setdefaultencoding("utf-8")原创 2015-07-23 14:14:58 · 16177 阅读 · 1 评论 -
MC, MCMC, Gibbs采样 原理&实现(in R)
本文用讲一下指定分布的随机抽样方法:MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理,并用R语言实现了几个例子:1. Markov Chain (马尔科夫链)2. Random Walk(随机游走)3. MCMC具体方法: 3.1 M-H法 3.2 Gibbs采样 PS:本篇blog为ese机器学习短期班参考资料(20140516课程)。原创 2014-05-15 19:50:44 · 90525 阅读 · 28 评论 -
搭建Python HTTP服务
我们常需要搭建HTTP服务,但是又不想搞那些复杂的Apache、ISS服务器等,这时我们就可以用python帮我们搭建服务器。 例如之前讲过的用python建XMLRPC开服务进行server/client通信,但这里还有个问题,如果我需要显示本地文件(比如图片),但是rpc不可以直接访问本地文件怎么办? 这种情况下,只需要再开一个简单服务,显示指定文件夹下文件,再用那个rpc服务调这个服务的文件原创 2015-08-18 20:16:25 · 15677 阅读 · 5 评论 -
python代码覆盖率工具——coverage
今天发现了一个好用的python代码覆盖率检查工具:coverage, 可以高亮显示代码中哪些语句未被执行,哪些执行了,方便单测。环境: Linux x86_64 (不能连外网)下载: 上 https://pypi.python.org/pypi/coverage 下 coverage.tar.gz (我下的3.7.1)安装: python setup.py install统计原创 2015-09-20 17:22:27 · 22701 阅读 · 2 评论 -
python实现并行爬虫
问题背景:指定爬虫depth、线程数, python实现并行爬虫 思路: 单线程 实现爬虫类Fetcher 多线程 threading.Thread去调Fetcher 方法:Fetcher 中,用urllib.urlopen打开指定url,读取信息:response = urllib.urlopen(self.url)content = respon原创 2015-09-07 20:06:51 · 22166 阅读 · 4 评论 -
python 调用 C++ code
本文以实例code讲解python借swig调用 C++的方法。 1. 如果没有参数传递从python传递至C++,python调用C++的最简单方法是将函数声明为C可用函数,然后作为C code被python调用,如这里三楼所示; 2. 有参数传递至C++函数,swig是最便捷的调用方法,以下面这个工程所示为例;原创 2015-10-24 02:33:10 · 18818 阅读 · 7 评论 -
C++调用python
本文以实例code讲解 C++ 调用 python 的方法。 本文在util.h中实现三个函数: 1. init_log: 用google log(glog)初始化log 2. exe_command: 由 C++ 执行 shell code 3. exe_py: C++调用python文件Code:include/util.h:/****************原创 2015-10-24 03:03:04 · 18353 阅读 · 4 评论 -
python多线程threading
本文通过 4个example 介绍python中多线程package —— threading的常用用法, 包括调用多线程, 同步队列类Queue, Ctrl+c结束多线程。原创 2015-10-29 00:27:53 · 28903 阅读 · 8 评论 -
用XMLRPC开服务进行server/client通信
本文讲一下如何用python的xmlrpc开服务,进行server/client的通信。应用场景:1)需多client访问应用程序给予应答情况——网页服务; 2)数据极大,希望加载一次,后面只用方法调用解决方案: 开两个服务,一个数据服务,一个网络服务; 数据服务端加载数据,网络服务端调用数据,并将结果显示在网络服务中; 外部调用网络服务返回结果;应用工具:xmlrpc,本文中以python 2.7.3的xmlrpclib为例,其他语言也有相应接口下面分别说明。原创 2014-08-17 00:07:07 · 13941 阅读 · 3 评论 -
Convolution Neural Network (CNN) 原理与实现
本文结合Deep learning的一个应用,Convolution Neural Network 进行一些基本应用,参考Lecun的Document 0.1进行部分拓展,与结果展示(in python)。分为以下几部分:1. Convolution(卷积)2. Pooling(降采样过程)3. CNN结构4. 跑实验下面分别介绍原创 2014-05-15 20:51:07 · 106011 阅读 · 51 评论 -
Python进阶(三)——Python语法
近几年来,随着Google、YouTube、IRobot等大公司对Python语言的广泛使用,Python公司的身影经常出现与我们的视线,Python语言也在软件质量、开发效率、程序的可移植性、标准库的支持等方面成为了一个优秀的程序开发语言,可以完成网站、游戏开发到航空航天控制等领域的各种任务。本栏目希望通过学习《Python学习手册》和网站上的相关指导,从零学习Python,希望对大家有一些帮助原创 2012-08-31 00:23:18 · 16040 阅读 · 13 评论 -
Python进阶(二)——Python对象类型
近几年来,随着Google、YouTube、IRobot等大公司对Python语言的广泛使用,Python公司的身影经常出现与我们的视线,Python语言也在软件质量、开发效率、程序的可移植性、标准库的支持等方面成为了一个优秀的程序开发语言,可以完成网站、游戏开发到航空航天控制等领域的各种任务。本栏目希望通过学习《Python学习手册》和网站上的相关指导,从零学习Python,希望对大家有一些帮助原创 2012-08-15 15:45:22 · 20344 阅读 · 18 评论 -
.NET + OpenCV & Python + OpenCV
最近需要做一个图像识别的GUI应用,权衡了Opencv+ 1)QT,2)Python GUI,3).NET后选择了.NET。。。本文给出C#+Opencv和Python+Opencv的相应参考,节省大家时间。原创 2013-12-26 21:08:15 · 13789 阅读 · 5 评论 -
R语言 基本数据分析
本文基于R语言进行基本数据统计分析,包括基本作图,线性拟合,逻辑回归,bootstrap采样和Anova方差分析的实现。不多说,直接上代码,代码中有注释。1. 基本作图(盒图,qq图)#basic plotboxplot(x)qqplot(x,y)2. 线性拟合#linear regressionn = 10x1 = rnorm(n)#variable 1x2 = rnorm(n)#varia原创 2014-02-08 23:52:14 · 43906 阅读 · 4 评论 -
K近邻分类算法实现 in Python
K近邻(KNN):分类算法* Machine Learning的Python库很多,比如mlpy,这里实现只是为了掌握方法* MATLAB 中的调用,见《MATLAB分类器大全(svm,knn,随机森林等)》* 算法复杂度高(可用KD树优化,C中可以用libkdtree或者ANN)* k越小越容易过拟合,但是k很大会降分类精度(设想极限情况:k=1和k=N(样本数))本文不原创 2014-03-02 14:37:24 · 20814 阅读 · 14 评论 -
Decision Tree 及实现
本文基于python逐步实现Decision Tree(决策树),分为以下几个步骤:1.加载数据集2.熵的计算3.根据最佳分割feature进行数据分割4.根据最大信息增益选择最佳分割feature5.递归构建决策树6.样本分类将分别体现于代码。原创 2014-03-17 12:12:15 · 31115 阅读 · 41 评论 -
应用scikit-learn做文本分类
文本挖掘的paper没找到统一的benchmark,只好自己跑程序,走过路过的前辈如果知道20newsgroups或者其它好用的公共数据集的分类(最好要所有类分类结果,全部或取部分特征无所谓)麻烦留言告知下现在的benchmark,万谢!嗯,说正文。20newsgroups官网上给出了3个数据集,这里我们用最原始的20news-19997.tar.gz。分为以下几个过程:1.加载数据集2.提feature3.分类{Naive Bayes,KNN,SVM}4.聚类说明: scipy官网上有参考原创 2014-04-13 20:53:15 · 99223 阅读 · 50 评论 -
python并行调参——scikit-learn grid_search
上篇应用scikit-learn做文本分类中以20newsgroups为例讲了如何用三种方法提取训练集=测试集的文本feature,但是vectorizer取多少个word呢?预处理时候要过滤掉tf>max_df的words,max_df设多少呢?tfidftransformer只用tf还是加idf呢?classifier分类时迭代几次?学习率怎么设?……“循环一个个试过来啊”……啊好吧,matlab里就是这么做的……好在scikit-learn中提供了pipeline(for estimat原创 2014-04-17 14:12:28 · 35756 阅读 · 16 评论 -
Ubuntu12.04配置NVIDIA cuda5.5经验帖
之前配过一遍都忘光了,现在要重新配一遍真是好难过。。。特此记录参考网站以便查阅。=============环境:Ubuntu 12.04+Cuda5.51. 判断安装环境:The setup of CUDA development tools on a system running the appropriate version of Linux consists of a few simple原创 2014-04-06 08:58:32 · 25626 阅读 · 16 评论 -
子文件夹引用numpy出错 解决方案
yu a原创 2014-04-09 08:53:23 · 20344 阅读 · 2 评论 -
_PyUnicodeUCS4_AsDefaultEncodedString
“_PyUnicodeUCS4_AsDefaultEncodedString”的出现一般源于你在两个地方分别装了python,两个分别用UCS2和UCS4编码进行的build。解决方案:export PATH=$PYTHONPATH/bin:$PATHexport LD_LIBRARY_PATH=$PYTHONHOME/lib:$LD_LIBRARY_PATH原创 2016-02-27 15:39:42 · 15363 阅读 · 2 评论