生命在于折腾

第四章主要涉及文件的写入，包括使用with语句、pickle处理文件等。

地址：http://www.heibanke.com/lesson/crawler_ex03/本关的难点是从页面解析并拼接出需要的目标密码，理解题目很重要啊~另外获取密码的页面加载耗时很长，也需要考虑如何处理。解题思路首次进入题目页面，同样的跳转到了登录页面：登录成功后，出现如下页面，发现还是猜密码。但这次不是试出来的需要找出来，那从哪里找呢？先随便输入个密...

还是接食行生鲜签到的问题，之前我们讲到，将签到结果通过短信发送到手机，但是我发现 twilio 有些不稳定，为了防止漏签，我在服务器上设置了两次定时任务，通常情况下第一个收不到短信，第二个才会收到。看到最近好多大神写操作微信的文章，于是，我又想，是不是可以将消息发送到微信上？微信发送消息有如下几个思路：itchat 模块使用个人公众号使用其他公众号封装好的发送消息的功能；...

上回 Python 爬虫闯关（第四关） 中，我们发现程序执行过程非常漫长，将近 24 分钟啊！另外页面也有提示说：网页会慢半拍。那么也许需要一个高效率的方法进行解析，多线程？题意再理解本关的题目内容，这里再简单说一下：不清楚的翻下历史。页面给出了闯关所需密码的随机位置，以及该位置的值，我们需要遍历所有页面，获取到 100 位的密码。其中，值得注意的两点：每一页的载入速...

相信很多小伙伴都用过 Selenium 来完成爬虫工作，今天就给大家带来一个神器，可以录制你的浏览器动作，然后直接生成 Selenium 脚本，是不是心动了？1 Selenium 简介Selenium 是为了测试而出生的。但是没想到到了爬虫的年代，它摇身一变，变成了爬虫的好工具。让我试着用一句话来概括 Seleninm：它能控制你的浏览器，有模有样地学人类「看」网页。那么你什么时候会要...

有不少订阅本公众号的朋友都不是玩 Python，甚至都不是计算机相关专业的，当我给他们一个 Python 程序时，他们是完全不知道该怎么运行的。于是我想是不是可以将我的程序打包成可执行文件，直接运行？就像这样：Python 程序都是脚本的方式，一般是在解析器里运行，如果要发布出去，需要提前安装解析器才可以运行，为了在 Windows 里方便发布，只要点击一个 EXE 文件运行，并且打包所...

当我看到别人的二维码都做的这么炫酷的时候，我心动了！我也想要一个能够吸引眼球的二维码，今天就带大家一起用 Python 来做一个炫酷的二维码！首先要安装工具 myqr：pip install myqr安装完成后，就可以在命令行中输入 myqr 查看下使用帮助：$ myqr --help可以看出 myqr 有着丰富的参数支持，这里就不再一一解释，后面使用到会再细说。简单用法首先...

国庆本来打算好好休息下的，没想到第一天就被领导的电话叫醒，说微信服务挂了，抓紧修复。mmp…这就是我老婆的第一天假期，问题修复后，老婆心有余悸，一直手动在那测试微信服务，就是往他们公众号发个消息，看是不是能够正常返回。我看着心疼，立志要用技术手段实现微信接口的巡检。我先捋了下思路，技术实现的话，大概需要解决如下几个问题：1、微信后台接口如何测试？2、如何用 Python 实现？3...

首先，爬虫不是我的本职工作，我爬虫一般是为了一些有意思的东西，获取一些信息，或者是实现一些可以自动化完成的任务，比如签到。一般我的爬虫流程是这样的：1、浏览器访问待爬网页，并提前打开开发者工具（F12），选中 Nework 选项卡，这样就可以看到网络交互信息；或者，右键查看网页源代码，查找目标信息。2、在网络交互信息流中筛选出自己需要的，然后在 postman 中模拟请求，看是否仍然可以获...

上回在《使用 PyInstaller 打包 Python 程序》中，我们介绍了使用 PyInstaller 对 Python 程序进行打包，今天带大家认识一个新的工具：py2exe。接下来将从这几个方面进行介绍：基本使用方法、高级参数、注意点等。简介 & 安装py2exe 是一个将 python 脚本转换成 Windows 上的可独立执行的可执行程序（*.exe）的工具，这样，你就可...

问题来源于技术交流群里：常见的转义字符 \n、\t 之类的我们都知道什么意思，但是这个 \e 是什么意思呢？抱着一股钻研的精神，我搜了一把。结果，所有的页面里都是只有一句简单的 \e 代表转义。然后呢？不要举个例子吗？他们不给例子，那我们自己做个总可以吧！于是，打开 Python 交互页面，做了一些简单的实验：>>> print '\e123'\e123...

在编辑微信文章时，发现微信页面插入一个网址会变的非常丑陋，稍微长一些的显示效果都不好。比如这样：对于读者来说，由于微信里不能插入外链，读者要想访问一个网址，不能点击，只能手输。WTF，那么长的一个网址！于是我想到了短网址。什么是短链接 ?短网址，很简单，就是把普通网址，转换成比较短的网址。短网址服务是随着 Twitter 和微博这样短小的互联网内容的兴起而出现的，因为这些社交网站...

之前在群里看到有人发了一个抖音上很火的小视频，就是一个不正经的软件，运行后问你是不是愿意做我的朋友，但你没法点击到「不同意」！并且没办法直接关闭窗口！很不正经，很流氓，有点适合我。效果大概是这样的：我要做一个高仿版的！实现思路首先我想到的就是 pygame 实现，因为之前很多人都用它「打过飞机」，不对，是做「打飞机」的游戏，因此多少有些熟悉。其实思路很简单，就是探测鼠标位置，当鼠标...

工作中，偶尔需要编辑一些大文件，比如 log 文件，后者一些变态的 SQL，此时用平常的编辑器就会显得力不从心，要么直接打不开，要么打开后卡得要死。 本文就给大家推荐几款可以操作大文件的编辑器，准备好小板凳，开始吧。 本机配置：Windows10，16G 内存，i5 处理器。 Notepad++ 第一站，就拿我本机的记事本替代者 Notepad++ 开刀。 网上传闻 ...

Python 编程语言已经成为 IT 中使用的最流行的语言之一。成功的一个原因是它可以用来解决各种问题。从网站开发到数据科学、机器学习到任务自动化，Python 生态系统有丰富的框架和库。本文将介绍 Ubuntu 软件包集合中提供的一些有用的 Python shell 来简化我们的开发。Python ShellPython Shell 即原生的 Python 交互环境，可以让你以交...

用过食行生鲜的同学应该知道，每天可以在食行生鲜签到，签到可以领到 20 积分，在购物时可以抵 2 毛钱。钱虽少，但是积少成多，买菜时可以抵扣一两块钱还是不错的。今天我们就用 Python 来实现自动签到，省得我每天打开 APP 来操作了。分析要自动签到，最简单的是打开页面分析请求，然后我们用脚本实现请求的自动化。但是发现食行没有页面，只有 APP，这不是一个好消息，这意味着需要...

上回我们说到怎么把签到结果发出来，于是就找到了 Twilio。Twilio 是一个位于加利福尼亚的云通信（PaaS）公司，致力于为开发者提供通讯模块的 API。由于 Twilio 为试用帐户提供了免费电话短信服务，我们可以在申请需要短信验证的国外免费资源时，使用 Twilio 在线实时收取验证短信。下面，本站就详细介绍一下 Twilio 的申请及短信发送过程。注册及设置访问 h...

第三章中主要介绍了简单的文件读取和简单的异常处理操作。

本章的目的是学习简单的数据处理，首先给出了一些文本数据，需要将这些文本数据读取，并转换为列表，然后对列表中的数据进行统一格式化，最后进行排序。

本文将涉及到字典和类。字典可以有效地组织数据，可以将数据与名称关联（类似于Map），从而实现快速查找。另外，也可以自定义类来处理一些功能，通过为对象增加一些属性和方法完成所需的功能。

爬取网页的流程一般如下：选着要爬的网址（url）使用 python 登录上这个网址（urlopen、requests 等）读取网页信息（read() 出来）将读取的信息放入 BeautifulSoup使用 BeautifulSoup 选取 tag 信息等可以看到，页面的获取其实不难，难的是数据的筛选，即如何获取到自己想要的数据。本文就带大家学习下 BeautifulSoup 的...

上回我们讲解了 Beautiful Soup 的基本使用方法，这次就带大家使用 Beautiful Soup 进行实战。这次要抓取的目标是豆瓣电影 TOP250，解析出其中的电源名称、评分、简单评价、评价人数等信息，其 base_url 是 https://movie.douban.com/top250。其实简单的网络爬虫无外乎查看网页源码，从源码中获取自己想要的东西，然后对其进行处理。...

最近很多读者后台留言让我分享下我的 Python 学习资料，今天为大家带来一套 Python 视频教程，以及一些不错的 Python 电子书。关注最下方二维码后，回复 Python资料，即可获取。视频推荐之所以推荐这个版本的视频，一是因为年份较新，是 2017 年录制的，并使用 Python3 讲解，另外视频的内容也很全面，Python 的各个方面都有涉及，基本上可以做到从入门到精通了。另外，有些...

有时候一些普遍的设计模式应用得非常广泛，慢慢的就形成了一种语法，或者叫 语法糖，Python 中的列表推导式 就是其中的典型代表。列表推导式是一种可以让代码更简洁，并且可以增加可读性和执行效率的方法，但是要掌握好这个语法则有些难。下面就带你好好认识下 列表推导式，学完之后你就知道这个语法糖有多「甜」。1 从一个例子开始事情的起因是这样的，在交流群里，一个小伙伴问如何把下面这种数...

在前面抓取高考分数线的文章中，我们用到了 openpyxl 模块来存储数据到 Excel，今天带大家学习一下该模块的详细使用。根据官方文档，openpyxl 是一个用来处理 xlsx/xlsm/xltx/xltm 格式 Excel 文件的 Python 代码库，同时支持 Pandas 和 NumPy 等包，能够绘制图表，并且同样支持格式控制等，详细文档可以参考： https://openp...

在学习爬虫时，遇到了一个有意思的网站，这个网站设置了几个关卡，需要经过爬虫进行闯关，随着关卡的网后，难度不断增加，在闯关的过程中需要学习不同的知识，你的爬虫水平也自然随之提高。 今天我们先来第一关，访问http://www.heibanke.com/lesson/crawler_ex00/：按照提示，我们把数字放到地址栏的后面，再次进行访问：发现，还要再用新的数字放在地址栏进行...

我们都知道，标准的元组 tuple 是使用数字索引来访问其中的成员的，但是在使用时要记住要哪一个数字索引对应哪一个成员值是有点困难的，往往会引发错误，特别是在元组包含了较多的成员时。这个时候，我们的主角要登场了：namedtuple，它会为每个成员分配一个索引的同时，再分配一个名称，使用起来就像一个「类」。namedtuple 主要用来产生可以使用名称来访问元素的数据对象，通常用来增强...

最近一周一直在帮家里小弟看高考志愿，所以更新的没那么频繁了，请大家见谅。在看各高校的往年分数时，忍不住手痒，想着能不能给它爬下来？哈哈，说干就干！1 流程分析之前无意中在这个网站发现有各个高校的历年录取分数线：https://gkcx.eol.cn。我们的目标是用 Python 将下面页面的数据导出到 Excel：这个页面的 URL 是：https://gkcx.e...

Python 3.6 提供了一种新的字符串格式化方法：f-strings，不仅比其他格式化方式更易读，更简洁，更不容易出错，而且它们也更快！看完本文后，你将了解如何以及为何要使用 f-strings。首先，我们先了解下现有的字符串格式化方法。在 Python 3.6 之前，字符串格式化方法主要有两种：%格式化 和 str.format()。下面我们简单看下它们的使用方法，以及局限。...

Python 中的 for 循环和其他语言中的 for 循环工作方式是不一样的，今天就带你深入了解 Python 的 for 循环，看看它是如何工作的，以及它为什么按照这种方式工作。循环中的陷阱我们先来看一下 Python 循环中的「陷阱」，在我们了解了循环的工作方式后，再来看下这些陷阱到底是怎么出现的。陷阱 1：循环两次现在我们先假设有一个数字组成的列表，和一个用于返...

第三关开始有点难度了，本关的难点就是所谓的两层认证，需要获取处理 cookie。闯关地址是：http://www.heibanke.com/lesson/crawler_ex02/页面分析刚进入页面时没看懂是怎么玩，以为到这就结束了，抱着试试看的态度注册了下。注册登录后，发现是一个记账点之类的，网页还没有跳转到题目网页，还不知道怎么玩。重新从题目地址进入后，发现可以玩了...

对于我这种习惯了 Java 这种编译型语言，在使用 Python 这种动态语言的时候，发现错误经常只能在执行的时候发现，总感觉有点不放心。而且有一些错误由于隐藏的比较深，只有特定逻辑才会触发，往往导致需要花很多时间才能将语法错误慢慢排查出来。其实有一些错误是很明显的，假如能在写程序的时候发现这些错误，就能提高工作效率。这时候 Python 静态语法检查工具就出现了。 本文使用之...

在上次第一关爬虫闯关成功后，我们会得到第二关的地址：http://www.heibanke.com/lesson/crawler_ex01/。分析打开页面，如图：根据提示，随便输入一个昵称和 30 以内的数字，提交后，提示密码错误：题目意图很明显了，就是猜数字！下面我们就要分析传入到后台的数据是什么，我们要做的就是：按下 F12。我们在提交数字后，可以看到发我后...