Python作业辅导员

前些日子，我在CSDN博客平台上以《剑客之剑》作为系列篇名，一口气分享了三款编辑器的使用体验。这篇三文章分别是：《剑客之剑——君子剑（Notepad++）》、《剑客之剑——倚天剑（Vim）》和《剑客之剑——玄铁重剑（VS Code）》。原计划 PyCharm 是《剑客之剑》系列的第四篇，本想一鼓作气写完的，无奈因短时间内发力过猛，气血不足，无以为继，只好先闭关修炼了两周。今日出关，终于可以继续聊聊PyCharm了。

MapReduce 是一种用于大规模数据集的并行运算编程模型，分为 Map（映射）和 Reduce（归约）两个步骤。Py2 时代，map() 和 reduce() 都是标准函数。不知为何，Py3 把 reduce() 藏到了标准模块 functools 中，只保留了 map() 在标准函数库中。借助于 Python 的标准进程模块（不熟悉进程模块的读者，可先阅读文后的两段参考资料），以及map() 和 reduce() 函数，我们可以非常容易地搭建一个 MapReduce 框架。

在Python生态圈里，最常用的图像库是PIL——尽管已经被后来的pillow取代，但因为pillow的API几乎完全继承了PIL，所以大家还是约定俗成地称其为PIL。除PIL之外，越来越的程序员习惯使用openCV来处理图像。另外，在GUI库中，也有各自定义的图像处理机制，比如wxPyton，定义了wx.Image做为图像处理类，定义了wx.Bitmap做为图像显示类。

欢迎来到“Python进阶”专栏！来到这里的每一位同学，应该大致上学习了很多 Python 的基础知识，正在努力成长的过程中。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言，从2009年开始单一使用 python 应对所有的开发工作，直至今天。回顾自己的学习过程，也曾经遇到过无数的困难，也曾经迷茫过、困惑过。开办这个专栏，正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你

对于新手来说，首先要理解线程的概念，以及为什么需要线程编程。什么是线程呢？网上一般是这样定义的：线程（thread）是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。哈哈，你听懂了吗？我觉得这样的定义纯粹是自说自话：新手看完了一脸懵逼，老鸟看完了不以为然。

光棍节就要到了，一说介绍对象，我猜你一定想到了派森大叔家的克蕾丝（class）小姐姐和黛夫（def）小哥哥。别想入非非了，严肃点儿！我们今天的的话题，不是介绍男女朋友，而是讲解如何面向对象编程，也就是程序员常说的OOP啦。不知道前辈们为什么会把 Object Oriented Programming 翻译成面向对象编程，搞得单身程序员经常心猿意马地产生幻觉，以为屏幕上的俊男美女就是自己将来要面对的对象了。

前几天，有个非计算机专业的同学问我，如何快速找出1亿之内的孪生素数——所谓孪生素数，就是差值为2的两个素数。原本以为这是一个很简单的问题，随便用python写了一个方法，没想到却要跑17分钟左右。改用C++试试，受限于我对C/C++的理解程度，仍然慢得无法承受（此处绝无小视C++之意）。这个问题激起了我的兴趣。于是乎，我花了半天时间，尝试了几种方式，最终又对代码做了优化，终于在3秒钟内找出了小于1亿的素数表。

Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并附上详细的实例代码。如能在实战中融会贯通、灵活使用，必将使代码更为精炼、高效，同时也会极大提升代码B格，使之看上去更老练，读起来更优雅。

无论是py2还是py3，都使用unicode作为内存编码，简称内码。保存在python解释器内存中的文本，输出到屏幕、编辑器，或者保存成文件的时候，都要将内码转换成utf8或者gbk等编码格式；同样，python解释器从输入设备接收文本，或者从文件读取文本的时候，都要将utf8或者gbk等编码转换成unicode编码格式。因此，无论是py2还是py3，想要在unicode、utf8、gbk等编码格式之间转换的话，下图是通用的：

在知乎和CSDN的圈子里，经常看到、听到一些 python 初学者说，学完基础语法后，不知道该学什么，学了也不知道怎么用，一脸的茫然。近日，CSDN的公众号推送了一篇博客，题目叫做《迷思：Python 学到什么程度可以面试工作？》，真实反映了 python 程序员在成长过程中的一些困惑。

学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可以一键运行，还可以断点调试。使用IDE开发项目，就像驾驶一辆内饰豪华的汽车，尽情享受驾驶的乐趣就好了，谁还去关心引擎盖里面发动机是如何工作的呢？我的年轻同事们也都是IDE的拥趸，最初使用pycharm，后来是时下大热的vscode。

1. 前言 虽然很早就接触过pandas模块，却因为深度依赖numpy的原因，从没有认真对待它。今天无意中发现，pandas最初是作为金融数据分析工具而开发出来，有些概念借鉴了R语言。我距离金融圈非常遥远，难怪以前一直找不到使用它的必要性。现在我知道，pandas为时间序列分析提供了很好的支持，这一点也许可以给我的工作提供方便。 模块学习的第一步，自然是安装。必须要感谢pip，自从py2.7.

作为程序员，从第一次接触编程开始，就知道了文件的两大类别：文本文件和二进制文件。但是，如何定义和判别这两类文件，在我的知识体系了，却一直是模糊的。直觉上，用文本方式读写的文件一定是文本文件，用二进制方式读写的文件一定是二进制文件，然而，用 notepad++ 照样可以打开甚至编辑一个 .jpg 文件或者一个 .xls 文件。 事实上，不管是文本文件还是二进制文件，在物理存储上都是二进制的。二者之间...

首先声明，本文讨论的 watchdog，不是单片机里的 watchdog，也不是 linux 中的 watchdog，而是 python 世界里用来监视文件系统变化的一个第三方模块。在 python 中文件监视主要有两个库，一个是 pyinotify，一个是 watchdog。pyinotify 依赖于 linux 平台的 inotify 机制，只能应用在 linux 平台上。watchdog 则对不同平台的的事件都进行了封装，不仅可以监视 windows 文件系统，也可以监视 linux 的文件系统。

递归（ recursion）是一种编程技巧，某些情况下，甚至是无可替代的技巧。递归可以大幅简化代码，看起来非常简洁，但递归设计却非常抽象，不容易掌握。通常，我们都是自上而下的思考问题， 递归则是自下而上的解决问题——这就是递归看起来不够直观的原因。那么，究竟什么是递归呢？让我们先从生活中找一个栗子。

你在 python 使用过程中用一行代码实现过哪些激动人心的功能呢？欢迎留言讨论。手头有 109 张头部 CT 的断层扫描图片，我打算用这些图片尝试头部的三维重建。基础工作之一，就是要把这些图片数据读出来，织成一个三维的数据结构（实际上是四维的，因为每个像素有 RGBA 四个通道）。这个数据结构，自然是 numpy 的 ndarray 对象，读取图像文件我习惯使用 PIL。

一身转战三千里，一剑曾当百万师。 今日赠君tornado，长风破浪会有时。 对于 tornado，我有很深的情感。如果把 web 开发框架比作程序员手中的冷兵器，我觉得 flask 好比是花枪， 轻灵飘逸，舞之令人眼花缭乱；django 像大戟，合矛戈为一体，可直刺，可横击，威力无比；tornado 秀外而惠中，更像是剑。剑在中国传统武术中有着很高的地位，为兵器之神，被认为有君子之风。

济南，始终是一座不温不火、慢慢腾腾的城市，一如生活在她的怀抱中的市井百姓：闲适、从容。也有人说她土气、落后，但我始终觉得，她很美，并且美得独一无二，美得沁人心脾。作为北方城市，济南有山、有水、有泉，背靠黄河，有深厚的历史和文化底蕴。生活在这座城市，我很荣幸。作为程序员，我觉得还是应该用数据对她说出我的爱。本文完整演示了从济南市城乡水务局网站爬取历年来趵突泉、黑虎泉地下水位数据，并绘制出谁变化曲线。全部代码涉及到sqlite、optparse、Requests、datetime、lxml、re、nump

科学史上众星云集，璨若星河。这些牛人基本上都是天才，但也不乏无名之辈凭借匪夷所思、骇世惊俗的猜想而立足于巨星之列。比如，门捷列夫，整了一张留空的元素周期表，引得全世界的化学家去做填空题。还有一位德国的中学老师，名唤约翰·提丢斯（Johann Daniel Titius）的，在1766年写下了这么一个数列：

关于 k-means 均值聚类算法的原理介绍、实现代码，网上有很多，但运行效率似乎都有点问题。今天稍微有点空闲，写了一个不足20行的 k-means 均值聚类算法，1万个样本平均耗时20毫秒（10次均值）。同样的数据样本，网上流行的算法平均耗时3000毫秒（10次均值）。差距竟然达百倍以上，令我深感意外，不由得再次向 numpy 献上膝盖！

暗梁闻语燕，夜烛见飞蛾。飞蛾绕残烛，半夜人醉起。人类很早就注意到飞蛾扑火这一奇怪的现象，并且自作主张地赋予了飞蛾扑火很多含义，引申出为了理想和追求义无反顾、不畏牺牲的精神。但是，这种引申和比喻，征求过飞蛾的意见吗？ 后来，生物学家又提出来昆虫趋光性这一假说来解释飞蛾扑火。不过，这个假说似乎也不成立。如果昆虫真的追逐光明，估计地球上早就没有昆虫了——它们应该齐刷刷整体移民到太阳或月亮上去了。 仔细观察飞蛾扑火，就会发现，昆虫们并不是笔直地飞向光源，而是绕着光源飞行，同时越来越接近光源，最终酿成了“

文章目录0. 前言1. 准备工作(1) 注册 pypi.org 用户(2) 使用 pip 安装或升级几个必备工具2. 规划文件目录(1) __init__.py(2) README.md(3) setup.py3. 生成安装包文件4. 上传安装包文件5. 安装 0. 前言 发布自己的python模块安装包，首先得把自己的模块做成 .whl 格式的文件，然后再找个地儿存放它，接下来就是在 pip 命...

文章目录前言贝塞尔曲线算法描述算法实现参考资料 前言 很多文章在谈及曲线平滑的时候，习惯使用拟合的概念，我认为这是不恰当的。平滑后的曲线，一定经过原始的数据点，而拟合曲线，则不一定要经过原始数据点。 一般而言，需要平滑的数据分为两种：时间序列的单值数据、时间序列的二维数据。对于前者，并非一定要用贝塞尔算法，仅用样条插值就可以轻松实现平滑；而对于后者，不管是 numpy 还是 scipy 提供的那些...

BeautifulSoup 使用经验总结 文章目录BeautifulSoup 使用经验总结概述安装开始使用经验总结节点对象、名称、属性节点的文本内容子节点父节点兄弟节点搜索节点使用正则表达式匹配标签名使用属性搜索使用CSS搜索使用文本内容搜索使用函数筛选 概述 处理数据，总要面对 HTML 和 XML 文档。BeautifulSoup 是一个可以从 HTML 或 XML 中提取数据的 Python...

wxPython应用实例：用声卡实现的存储示波器 文章目录wxPython应用实例：用声卡实现的存储示波器背景知识采样频率量化精度生产者/消费者模式从声卡采集数据声音采集类的定义消费者/生产者实例总体规划设计目标功能规划界面规划程序结构wxPython布局基础最简单的窗口程序框架界面布局方法界面设计示波器屏幕原型框架原型逻辑处理声明主窗口的若干重要属性在状态栏上显示采集到的数据时间长度从数据队列中...

Notepad++ 运行 C 代码 安装配置C编译器 1. 下载MinGW-m64 在Windows环境下编译C代码，自然离不开MinGW，而MinGW也有还几个选择，比如，仅支持32bit的MinGW，支持32bit和64bit的MinGW-m64，还有TDM-gcc（据说也是基于MinGW-m64的非官方维护版本）。见贤思齐，自然要选择MinGW-m64了。安装程序下载地址： MinGW-w6...

聊聊公钥私钥的那点事儿 聊聊公钥私钥的那点事儿 前言 对称加密和非对称加密 RSA算法 加密通讯 数字签名 数字证书 前言 加密技术是个好东西，可以有效地保证我们在沟通和存储过程中的信息安全。但我敢打赌，没有程序员喜欢加密。一想到公钥私钥、数字证书就开始头晕，一见到https开头的url就额头冒汗，这是大多数程序员的常见病症。如果看官不幸染有此疾，请先调息凝神，心中默念三声阿弥...

前言 爬取数据用的类浏览器 找到我们需要的数据 使用DOM提取数据 使用正则表达式解析数据 2018年趵突泉会停止喷涌吗 URL分析 网页下载 数据解析 爬取全部数据 数据保存与检索的考量 绘制水位变化曲线图 数据分析前言一般而言，网络数据爬取是指基于http/https/ftp协议的数据下载——翻译成白话，就是从特定网页上获取我们需要的数据。想象一个浏览网页的过程，大致可以分为两个步骤： 在浏览器

获取python脚本文件所在路径我们知道，os.getcwd()可以获取当前路径，那么这个路径是当前python脚本文件所在的路径吗？获取路径的方法大致有这几种：print os.getcwd() print sys.argv[0] print os.path.split(os.path.realpath(__file__))[0]分别在windows和linux平台上运行包含以上方法的脚本，结果如

原以为在IronPython中使用MySQL是一件很容易的事情，即使有麻烦，也可以改变路径，加载Python下的MySQL模块。事实证明，这是我一厢情愿的想法。要想在IronPython中连接MySQL数据库，必须要调用MySql.Data动态库——这个dll很容易在网上找到，但如何使用这个库，网上的资料如凤毛麟角，难觅其踪。好不容易找到几篇，却又语焉不详，不知所云。经过好一番折腾，终于搞明白了My

开发背景是这样的：整个项目中使用很多台摩托罗拉的RFID读卡器，我要为这些读卡器写一个管理程序，判断是否有RFID标签进入或离开某个区域。用户提供给我的，除了设备，就是一个.net的动态库文件。经朋友指点，安装了.NET Framework 4.0和IronPython 2.7之后,终于可以调用.net库了。我不确定的是，python环境下那些打包工具是否还是使用，因为脚本要在IronPython的

地图投影的故事 前言 这几天，因为项目需要，认真地学习了一遍地图投影，最终实现了WGS84坐标系经纬度与Web Mercator投影行列号的互转。转换代码只有区区几行，但是探索的过程却非常曲折。相信如果不是因为生活所迫，恐怕没有程序员喜欢研究地图投影这个艰深晦涩、极度消耗脑细胞的题目。在查找资料的过程中，我有一些有趣的发现，也有一些关于东西方文化差异的思考，现录于此，与各位看官分享。 先把转换代码...

文章目录前言MongoDB客户端类连接管理集合管理索引管理增删改查文件操作聚合操作 前言 曾经有一段时间，大约是2014年和2015年，在所有的项目里面，但凡需要数据库的场合，我们无一例外地选择了MongoDB。在此之前，我们更多的是使用Oracle数据库。尽管Oracle已经做得非常棒了，但面对来自全球各地空间天气观测台站和世界各国卫星数据的时候，仍然显得捉襟见肘，疲于应付。不是Oracle不够...

文章目录中文乱码Git GUI 中文乱码git status 包含中文路径时出错忽略提交的规则设置使用 .gitignore 文件配置 .git/info/exclude 文件使用 git config 命令修改 core. Excludesfile 选项换行符 中文乱码 Git GUI 中文乱码 编辑用户主目录下的 .gitconfig 文件，增加： [gui] encoding = u...

文章目录python 文件的组成编码格式声明缩进引号注释空行空格文档字符串导入模块命名规范 python 文件的组成 Linux 平台上，一个 python 源码文件应该以下部分组成。Windows 平台上，可以省略第一项。 解释器声明 编码格式声明 模块注释或文档字符串 模块导入 常量和全局变量声明 顶级定义（函数或类定义） 执行代码 编码格式声明 通常，编码格式声明是必需的。如果 pyth...

tornado 是一个非常流行的 web framework，也是一个自带 IO 的 web server，而它作为 web server 采用的是 asynchronous IO 的网络模型，这是一种很高效的模型。网上有很多 tornado 与其他 web 框架的性能比较，其实，它们根本不是一个层次的东西，因为在所有的比较对象中，只有 tornado 同时具备 IO / web server / web framework，并且做到了极致。

文章目录文件上传的服务端技术解析基于Ajax技术实现的文件上传客户端方法1：使用 ajaxfileupload.js方法2：仅依赖 jquery.js文件下载的服务端技术解析 文件上传的服务端技术解析 常言到，爱有多深、恨有多切。tornado服务器就是这样一个矛盾体，它的缺点和它的优点一样，显著且强烈。有人认为，文件上传是tornado的重大缺陷之一，它把用户上传的文件存放在内存中——这意味着多...

文章目录关于 Git基本概念术语及中英文对照安装Git客户端Git GUI 操作指南构建本地版本库Git Bash 操作指南 关于 Git 基本概念 和 SVN 相比，Git 有一些独特的术语和概念，有必要了解一下。 工作区（working tree）：可以理解为客户端电脑上的项目路径。 版本库（repository）：工作区有一个隐藏目录 .git，这个不算工作区，而是 Git 的版本库。 暂...

Git 常用命令集 符号说明： 尖括号（< >）表示需要替换成尖括号内文字描述的内容 方括号（[ ]）表示可选项 远程库名，形如 git@sdysit.com:/sdyouth/git/GitTest.git 路径名，形如 D:\YouthGit\GitTest 或者 GitTest 初始化操作 $ git config --list #检查已有的配置信息 $ git conf...

Git 术语中英文对照 翻译参考了 GitHub 上源码文件，致敬 Jiang Xin worldhello.net@gmail.com 先生。 English 中文 3-way merge 三方合并 abbreviate 简写（的 SHA-1 值） alternate object database 备用对象库 amend 修补 ancestor 祖先，祖先提交 ...