2017年09月_liu志军

原创 Python爬虫知识梳理

学任何一门技术，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过肯定的是，学会了爬虫，能给你的工作提供很多便利。作为零基础小白，大体上可分为三个阶段去实现，第一阶段是入门，掌握必备基础知识，比如Python

2017-09-26 13:14:57 1201

原创关于 Python 列表操作，最常见问答Top10

列表是最常用的数据类型之一，本文整理了 StackOverflow 上关于列表操作被访问最多的10个问答，如果你在开发过程中遇到这些问题，不妨先思考一下如何解决。1、迭代列表时如何访问列表下标索引普通版：items = [8, 23, 45]for index in range(len(items)): print(index, "-->", items[index])>>>

2017-09-26 13:14:54 485

原创 Python爬取微博数据生成词云图片

很早之前写过一篇怎么利用微博数据制作词云图片出来，之前的写得不完整，而且只能使用自己的数据，现在重新整理了一下，任何人的微博数据都可以制作出来，即使是Python小白也能分分钟做出来。准备工作本环境基于Python3，理论上Python2.7也是可行的，先安装必要的第三方依赖包：# requirement.txtjieba==0.38matplotlib==2.0.2numpy==1.

2017-09-26 13:14:51 3672 1

原创 Pycharm自动导入模块小技巧

Pycharm是很多Python开发者的首选IDE，如果能把一个工具熟练运用，往往有事半功倍的效果，各种快捷键、重构功能、调试技巧。由于Python是一门动态语言，对于自动导入包模块没有静态语言那么方便，但是我们有了Pycharm，还是可以很强大的。平时写代码的时候，要引用系统自带的模块或者是第三方模块，甚至是项目中其它地方的模块，有时候代码快写了一整屏，为了把一个模块导入进来，我们不得不把光标

2017-09-26 13:14:49 19156

原创为什么Python这么火

几年前 Python 在国内还只是一门小众语言，但从 2011开始到现在，Python 的百度搜索指数翻了10 倍，从下图看得出 Python 在国内的流行度已经直逼 Java，大有赶超之势一个行业火不火，就看有多少(自)媒体、培训机构涌入进来为之疯狂，用百度搜关键字“python”就有5条是培训广告，而Ruby、PHP、Go 等语言一条都没有，显然还是Python的生意更好做。我最早接触

2017-09-26 13:14:46 25487 5

原创 Python装饰器为什么难理解？

无论项目中还是面试都离不开装饰器话题，装饰器的强大在于它能够在不修改原有业务逻辑的情况下对代码进行扩展，权限校验、用户认证、日志记录、性能测试、事务处理、缓存等都是装饰器的绝佳应用场景，它能够最大程度地对代码进行复用。但为什么初学者对装饰器的理解如此困难，我认为本质上是对Python函数理解不到位，因为装饰器本质上还是函数函数定义理解装饰器前，需要明白函数的工作原理，我们先从一个最简单函数定

2017-09-26 13:14:43 2518

原创如何快速入门Python

学习任何一门语言都是从入门(1年左右)，通过不间断练习达到熟练水准(3到5年)，少数人最终能精通语言，成为执牛耳者，他们是金字塔的最顶层。虽然万事开头难，但好的开始是成功的一半，今天这篇文章就来谈谈如何开始入门 Python。只要方向对了，就不怕路远。设定目标当你决定入门 Python 时，需要一个清晰且短期内可实现的目标，比如通过学习找一份初级程序员工作，目标明确后，你需要了解企业对初级程序

2017-09-26 13:14:40 699 1

原创用Google挖掘赚钱思路

身为程序员，如果学了一堆技术却没有用武之地，实在可惜，如何把自己积累的技术利用起来？通俗一点，程序员有哪些赚钱的门路？比较常见的一种方式是接私活，不过私活的复杂度不一，沟通成本会非常高，另一方面，私活的技术含量低，对程序员的技术成长没什么帮助，什么样的赚钱指导是理想选择，我想能够躺着把钱挣的路子应该是个好点子你不是苍老师，能躺着把钱赚了？答案是肯定的，那些互联网巨头们现在无一不是躺着在赚钱，现

2017-09-26 13:14:38 625

原创我看 PyCon 2017大会（内含视频合集下载）

PyCon 2017 大会正在美国波特兰如火如荼地进行，不过它的关注度远没有 Google IO 大会、苹果 WWDC 大会那样受欢迎，毕竟这只是 Python 社区的狂欢节。反观国内的 Python 大环境，情况其实很糟糕，跟整个社会一样，似乎大家都很浮躁。至于 Pycon China，仍需努力。此次大会从5月17日开始一直持续到5月25日，议程包括2天的辅导课程，主要是帮助 Python 初

2017-09-26 13:14:35 951

原创爬虫入门系列（六）：正则表达式完全指南（下）

爬虫入门系列目录：爬虫入门系列（一）：快速理解HTTP协议爬虫入门系列（二）：优雅的HTTP库requests爬虫入门系列（三）：用 requests 构建知乎 API爬虫入门系列（四）：HTML文本解析库BeautifulSoup爬虫入门系列（五）：正则表达式完全指南（上）爬虫入门系列（六）：正则表达式完全指南（下）正则表达式是一种更为强大的字符串匹配、字符串查找、字符串替

2017-09-26 13:14:32 568

原创爬虫入门系列（五）：正则表达式完全指南（上）

正则表达式处理文本有如疾风扫秋叶，绝大部分编程语言都内置支持正则表达式，它应用在诸如表单验证、文本提取、替换等场景。爬虫系统更是离不开正则表达式，用好正则表达式往往能收到事半功倍的效果。介绍正则表达式前，先来看一个问题，下面这段文本来自豆瓣的某个网页链接，我对内容进行了缩减。问：如何提取文本中所有邮箱地址呢？html = """ .qrcode-app

2017-09-26 13:14:29 469

原创一步一步教你认识Python闭包

我在博客中曾经介绍过两篇关于函数的文章，第一篇是关于 Python 函数是第一类对象，第二篇是关于 Lambda 函数，今天来说说 Python 闭包。什么是闭包？闭包有什么用？为什么要用闭包？今天我们就带着这3个问题来一步一步认识闭包。闭包和函数紧密联系在一起，介绍闭包前有必要先介绍一些背景知识，诸如嵌套函数、变量的作用域等概念作用域作用域是程序运行时变量可被访问的范围，定义在函数内的

2017-09-26 13:14:27 446

原创 Lambda函数与群众演员的共同之处是？

Python 中定义函数有两种方法，一种是用常规方式 def 定义，函数要指定名字，第二种是用 lambda 定义，不需要指定名字，称为 Lambda 函数。Lambda 函数又称匿名函数，匿名函数就是没有名字的函数，函数没有名字也行？当然可以啦。有些函数如果只是临时一用，而且它的业务逻辑也很简单时，就没必要非给它取个名字不可。好比电影里面的群众演员，往往他们的戏份很少，最多是衬托主演，跑跑龙

2017-09-26 13:14:24 240

原创爬虫入门系列（四）：HTML文本解析库BeautifulSoup

系列文章的第3篇介绍了网络请求库神器 Requests ，请求把数据返回来之后就要提取目标数据，不同的网站返回的内容通常有多种不同的格式，一种是 json 格式，这类数据对开发者来说最友好。另一种 XML 格式的，还有一种最常见格式的是 HTML 文档，今天就来讲讲如何从 HTML 中提取出感兴趣的数据自己写个 HTML 解析器来解析吗？还是用正则表达式？这些都不是最好的办法，好在，Python

2017-09-26 13:14:21 507

原创完全理解Python关键字"with"与上下文管理器

如果你有阅读源码的习惯，可能会看到一些优秀的代码经常出现带有 “with” 关键字的语句，它通常用在什么场景呢？今天就来说说 with 和上下文管理器。对于系统资源如文件、数据库连接、socket 而言，应用程序打开这些资源并执行完业务逻辑之后，必须做的一件事就是要关闭（断开）该资源。比如 Python 程序打开一个文件，往文件中写内容，写完之后，就要关闭该文件，否则会出现什么情况呢？极端情

2017-09-26 13:14:18 498

原创爬虫入门系列（三）：用 requests 构建知乎 API

在爬虫系列文章优雅的HTTP库requests 中介绍了 requests 的使用方式，这一次我们用 requests 构建一个知乎 API，功能包括：私信发送、文章点赞、用户关注等，因为任何涉及用户操作的功能都需要登录后才操作，所以在阅读这篇文章前建议先了解Python模拟知乎登录。现在假设你已经知道如何用 requests 模拟知乎登录了。思路分析发送私信的过程就是浏览器向服务器发送一

2017-09-26 13:14:16 410

原创 Python函数是所谓的第一类对象（First-Class Object）是什么鬼？

之前写过一篇关于装饰器的文章，虽然写得还算不错，但是也有不少同学表示没看懂，我大概分析了其中的原因，主要问题是他们不理解函数，因为Python中的函数不同于其它语言。正确理解 Python函数，能够帮助我们更好地理解 Python 装饰器、匿名函数（lambda）、函数式编程等高阶技术。函数（Function）作为程序语言中不可或缺的一部分，太稀松平常了。但函数作为第一类对象（First-Cl

2017-09-26 13:14:13 1719

原创爬虫入门系列（二）：优雅的HTTP库requests

在爬虫入门系列（一）：快速理解HTTP协议中介绍了 HTTP 协议，Python 提供了很多模块来基于 HTTP 协议的网络编程，urllib、urllib2、urllib3、httplib、httplib2，都是和 HTTP 相关的模块，看名字觉得很反人类，更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异，如果业务代码要同时兼容 2 和 3，写起来会让人崩溃。幸运地是，

2017-09-26 13:14:11 406

原创爬虫入门系列（一）：快速理解HTTP协议

4月份给自己挖一个爬虫系列的坑，主要涉及HTTP 协议、正则表达式、爬虫框架 Scrapy、消息队列、数据库等内容。爬虫的基本原理是模拟浏览器进行 HTTP 请求，理解 HTTP 协议是写爬虫的必备基础，招聘网站的爬虫岗位也赫然写着熟练掌握HTTP协议规范，写爬虫还不得不先从HTTP协议开始讲起HTTP协议是什么？你浏览的每一个网页都是基于 HTTP 协议呈现的，HTTP 协议是互联网应用中

2017-09-26 13:14:08 428

原创 Python 编码为什么那么蛋疼？

据说，每个做 Python 开发的都被字符编码的问题搞晕过，最常见的错误就是 UnicodeEncodeError、UnicodeDecodeError，你好像知道怎么解决，遗憾的是，错误又出现在其它地方，问题总是重蹈覆辙，str 到 unicode 之间的转换用 decode 还是 encode 方法还特不好记，老是混淆，问题究竟出在哪里？为了弄清楚这个问题，我决定从 python 字符串的构

2017-09-26 13:14:05 339

原创代码这样写不止于优雅（Python版）

Martin(Bob大叔)曾在《代码整洁之道》一书打趣地说：当你的代码在做 Code Review 时，审查者要是愤怒地吼道： “What the fuck is this shit?”“Dude, What the fuck！” 等言辞激烈的词语时，那说明你写的代码是 Bad Code，如果审查者只是漫不经心的吐出几个“What the fuck?”，那说明你写的是 Good Code

2017-09-26 13:14:02 319

原创代码这样写更优雅(Python版)

原文地址：https://foofish.net/idiomatic_python.htmlPython 这门语言最大的优点之一就是语法简洁，好的代码就像伪代码一样，干净、整洁、一目了然。但有时候我们写代码，特别是 Python 初学者，往往还是按照其它语言的思维习惯来写，那样的写法不仅运行速度慢，代码读起来也费尽，给人一种拖泥带水的感觉，过段时间连自己也读不懂。《计算机程序的构造和解释》的作

2017-09-26 13:13:59 832

原创基于微博数据用 Python 打造一颗“心”

原文：https://foofish.net/python-heart.html一年一度的虐狗节终于过去了，朋友圈各种晒，晒自拍，晒娃，晒美食，秀恩爱的。程序员在晒什么，程序员在加班。但是礼物还是少不了的，送什么好？作为程序员，我准备了一份特别的礼物，用以往发的微博数据打造一颗“爱心”，我想她一定会感动得哭了吧。哈哈准备工作有了想法之后就开始行动了，自然最先想到的就是用 Python 了，大

2017-09-26 13:13:56 753 2

原创为什么执行 x in range(1000000000) 如此快？

在 Python 中，表达式 1000000000000000 in range(1000000000000001) 的执行速度能有多快？判断一个元素 x 是否存在于集合 y 中最简单粗暴地方法就是迭代，每次取出一个值与之比较，如果集合中存在一个值 z 等于 x就返回 true ，它的时间复杂度是 O(n)，使用哈希算法的理论时间复杂度是 O(1)，二分查找的时间复杂度是 O(log n)，那么

2017-09-26 13:13:53 399

原创 Python解惑：整数比较

Python 中常用的数据类型bool（布尔）类型的实例对象（值）就两个，真和假，分别用True和False表示。在if 条件判断和while 语句中经常用到，不过在Python2.x 中，True 和False 却有着奇怪的用法，就是真假可以相互被替换，先看下面代码： >>> TrueTrue>>> FalseFalse>>> if True:... print True.

2017-09-26 13:13:51 362

原创 Python程序员都知道的5个彩蛋

程序员在大众眼中是一群智商高、情商低，少言寡语的人，这种由来已久的刻板印象源自于大众缺乏对程序员的真正了解，其实程序员和其它行业一样是个多元化的职业，也不乏幽默、高情商、...

2017-09-24 09:00:00 178

原创 Python爬虫知识点梳理

学任何一门技术，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，在你准备学爬虫前，先问问自己为什么要学习爬...

2017-09-20 18:12:53 128

原创体验小程序开发

关注了公众号「Python之禅」的读者可能已经看到公众号绑定了一个小程序，这是微信给所有订阅者发送的一条提醒。是的，上周利用周末时间研究了小程序，其实小程序的开发比公众号...

2017-09-16 12:33:36 112

原创发起一场GitChat是什么体验？

如果说今年是智能元年，那么去年应该是直播元年，直播的形式也出现了多样化，从视频直播、语音直播，再到文字直播。GitChat 某种意义上也算是文字直播里的一种，不过，本质上...

2017-09-12 16:35:53 171

转载 Python成为高收入国家增加最快的语言

摘要：本文根据Stack Overflow流量分析了Python及其他一些编程语言的发展情况，同时也对高收入国家与非高收入国家的情况进行了对比。翻译：雁惊寒我们最近的研究...

2017-09-12 16:35:53 129

原创如何应对 Python 编码巨“坑”

字符编码问题在 Python 中一直是个巨坑，几乎 100% 的 Python 开发者都踩过此坑，写爬虫你会遇到，写Web应用的会遇到，做数据分析的时候会遇到···，网上...

2017-09-11 13:45:47 126

原创给Python新手的一道面试题：如何正确读写文件

这是我司前段时间招人笔试中一道比较简单题，面向初中级程序员，不过很少有人能回答完整的，问题本身不难，主要还是考察动手能力和基本代码功，准备找工作的先收藏留着以后用得着。看...

2017-09-07 17:59:16 584

原创 00后CEO涉嫌抄袭，保护版权，如何选择开源许可协议？

昨天在掘金、CSDN 社区有网友发帖声援《中国首位00后CEO公然抄袭、复制我的开源作品》，评论区炸了开锅。事件起因是一位叫“墨镜猫”的 Android 开发者在 Git...

2017-09-06 12:01:24 155

原创 Python：动态语言与鸭子类型

动态编程语言是一类在运行时可以改变其结构的语言：例如新的函数、对象、甚至代码可以被引进，已有的函数可以被删除或是其他结构上的变化。动态语言目前非常具有活力如PHP、Rub...

2017-09-04 11:47:37 136

Python之禅的专栏