自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 自学入门 Python 优质中文资源索引

所有资源基于 Python3 版本,全部中文内容,适用于 爬虫 / Web / 数据 方向,每个单元根据学习习惯从 书籍 / 文档 / 视频 中选择一类即可,建议任选一本书籍,然后配合文档类进行学习。 资源遵守“宁缺毋滥”的原则,均经过网评筛选或个人亲测,不推荐各类低质量大杂烩的文章书籍,力求少走...

2019-03-01 11:23:06

阅读数 199

评论数 0

原创 Python 2 与 3 共存了 11 年,新年就要和它道别

在 Python 3.9 都已经进入 dev 版本的 2020 年,Python 2 终于要和我们告别了。 2 and 3 Python 2 第一个版本发布于 2000 年 10 月 16 日,到今年正好是第 20 个年头。而 Python 3 发布于 2008 年 12 月 3 日,但由于 3...

2019-12-31 16:51:32

阅读数 369

评论数 0

原创 30 年前的圣诞节,Python 序章被谱写

1989 年圣诞节期间,已经从阿姆斯特丹大学(University of Amsterdam)获得数学和计算机硕士学位的 Guido van Rossum,为了打发圣诞节的无趣,决心开发一个新语言解释器,作为 ABC 语言的一种继承。 之所以选中 Python(蟒蛇)作为该编程语言的名字,是取自...

2019-12-24 23:27:46

阅读数 655

评论数 1

原创 文言文编程火了,可我完全学不懂

毕竟有易语言在前,有人认为中文可以降低国人学习编程的门槛,也增强汉语的国际地位。然而最近大火的文言文编程语言,让你明白什么叫“中文比英语还难”。 Hello wenyan 最近有个 GitHub 项目火了 —— 文言编程语言 / wenyan-lang。 现在这个项目已经超过 10K Star...

2019-12-21 18:09:28

阅读数 9607

评论数 41

原创 通过 Python 理解 Mixin 概念

Mixin 的概念 Mixin 即 Mix-in,常被译为“混入”,是一种编程模式,在 Python 等面向对象语言中,通常它是实现了某种功能单元的类,用于被其他子类继承,将功能组合到子类中。 利用 Python 的多重继承,子类可以继承不同功能的 Mixin 类,按需动态组合使用。 当多个类都实...

2019-12-04 17:51:28

阅读数 650

评论数 0

原创 Node.js 使用 express-jwt 解析 JWT

Node.js 上 Token 鉴权常用的是 passport,它可以自定义校验策略,但如果你是用 express 框架,又只是解析 JWT 这种简单需求,可以尝试下 express-jwt 这个中间件。 关于 JWT JWT 全称 JSON Web Token,是代替传统 session 认...

2019-11-07 10:16:42

阅读数 666

评论数 0

原创 解决 Mac OS 10.14 环境下 gem install ERROR: Failed to build gem native extension

环境 Mac OS Mojave 10.14 ruby 2.3.7p456 (2018-03-28 revision 63024) 报错信息 $ sudo gem install sass Building native extensions. This could take a while....

2019-10-22 16:50:00

阅读数 692

评论数 0

原创 Python 3.8.0 正式版发布,新特性初体验

北京时间 10 月 15 日,Python 官方发布了 3.8.0 正式版,该版本较 3.7 版本再次带来了多个非常实用的新特性。 赋值表达式 PEP 572: Assignment Expressions 新增一种新语法形式::=,又称为“海象运算符”(为什么叫海象,看看这两个符号像不像颜表情...

2019-10-17 11:08:04

阅读数 419

评论数 0

原创 众咖云集的 PyCon 2019 上海站,大佬们都讲了啥

9 月 21 号周六,我参加了 PyCon China 2019 上海站,这是每年一届的 Python 中国开发者大会。 [外链图片转存失败(img-JEeYYgS0-1569341102384)(http://static.zkqiang.cn/images/20190922124621.jpg...

2019-09-25 00:05:44

阅读数 143

评论数 0

原创 Markdown 转换公众号文章,不再为排版花时间

上一篇「又一家数据公司被查,爬虫到底做错了什么?」反响强烈,虽然我这是新号,但还是获得了不少公众号的转发,借机也结识了很多业内大佬,在此感谢大家的抬爱! 同时也有不少号主问我的文章排版是用的哪个网站,我的回答是:自己做的网站! 没错,这就是本文的主角 —— 公众号 Markdown 编辑器 这是...

2019-09-14 14:23:55

阅读数 126

评论数 0

原创 又一家数据公司被查,爬虫到底做错了什么?

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。 以上是前几天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好,XX进得早;数据玩得溜,XX吃个...

2019-09-13 02:00:50

阅读数 1339

评论数 0

原创 爬虫工程师分享:三步就搞定 Android 逆向

本文源于我近期的一次公司内部分享,通过逆向某款 APP 来介绍逆向过程。由于仅作为学习用途,APP 的相关信息会被遮盖,敬请理解。 关于逆向 逆向——包括但不限于通过反编译、Hook 等手段,来解析一些功能的实现过程。 逆向在很多领域都有应用,比如如今爬虫技术已经遍地走,甚至不用写代码都可以爬取...

2019-09-05 23:31:36

阅读数 391

评论数 0

原创 爬虫工程师常用的 Chrome 插件

做多了爬虫都知道,写一个爬虫大部分时间不是在代码上,而是在分析网页上,所有有一套好用的工具可以极大节省劳动力,这里把平时积累的一些 Chrome 插件分享出来,均来自本人和同事推荐,并不定时更新,欢迎点赞和收藏。 注意下载地址是谷歌应用商店,访问需要特殊方法,你懂的。 XPath Helper ...

2019-06-02 17:14:09

阅读数 773

评论数 0

原创 Python 描述符(Descriptor) 附实例

在 Python 众多原生特性中,描述符可能是最少被自定义的特性之一,但它在底层实现的方法和属性却无时不刻被使用着,它优雅的实现方式体现出 Python 简洁之美。 定义 一个描述符是一个有“绑定行为”的对象属性(object attribute),它的访问控制会被描述器协议方法重写。 ...

2019-05-05 12:01:00

阅读数 145

评论数 0

原创 Python 捕获线程中的异常

import sys from threading import Thread def install_thread_excepthook(): init_original = Thread.__init__ def init(self, *args, **kwargs):...

2019-04-06 16:47:59

阅读数 797

评论数 0

原创 爬虫必备:Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py

在使用爬虫中,经常会遇到网页请求数据是经过 JS 处理的,特别是模拟登录的时候。而目前绝大部分前端 JS 代码都是经过混淆的,可读性极低,想理解代码逻辑需要花费大量时间。这时不要着急使用 Selenium 暴力解决,毕竟 Selenium 严重拖慢爬虫效率,我们可以尝试使用一些第三方库,来直接执行...

2019-03-18 11:47:19

阅读数 1075

评论数 0

原创 如何理解“面向对象”编程思想

理解面向对象,首先理解要它的基础概念: 面向对象 ( Object Oriented ) 是将现实问题构建关系,然后抽象成类 ( class ),给类定义属性和方法后,再将类实例化成实例 ( instance ),通过访问实例的属性和调用方法来进行使用。 在不同的语言中,对象的定义范围不同。在...

2019-03-04 10:28:33

阅读数 458

评论数 0

原创 Python 轻量化简繁转换

最近项目中用到了简单的简繁转换,如果用OpenCC太重了,于是搜到了zhconv这个库。 zhconv 提供基于 MediaWiki 词汇表的最大正向匹配简繁转换,Python 2, 3 通用。 支持以下地区词转换: zh-tw 台灣正體 zh-hk 香港繁體 zh-sg 马新简体 ...

2019-03-01 11:27:53

阅读数 228

评论数 0

原创 Python 输出命令行进度条

在使用 pip 安装时,你会发现有下载进度条,我们也可以借助开源的第三方库来实现这个功能,在项目输出时增加一些可视化效果。 一个简单易用的第三方库是:progress 作者提供了动图很直观地展现了实现的所有输出。 这个库实现了两类样式,一类是有终点的进度条样式,另一类是多用于加载的转...

2019-03-01 11:26:22

阅读数 324

评论数 0

原创 打印 Python 的一切 —— pprint & beeprint

打印,是所有程序员从小白时期就具备的神技,遇事不决打印一下,是 DEBUG 最简单且不依赖 IDE 的方式,自定义各种日志输出,也是项目成型后必备功能。 但是为了优雅的打印格式,往往需要对各种对象进行特殊格式化,可遇到字典和大段字符串也不好处理。 这篇文章介绍两个库模块,可以快速有效的解决所有 P...

2019-03-01 11:15:07

阅读数 376

评论数 0

原创 Python3 中 configparser 模块解析配置的用法详解

configparser 简介 configparser 是 Pyhton 标准库中用来解析配置文件的模块,并且内置方法和字典非常接近。Python2.x 中名为 ConfigParser,3.x 已更名小写,并加入了一些新功能。 配置文件的格式如下: [DEFAULT] ServerAliveI...

2019-03-01 11:00:36

阅读数 253

评论数 0

原创 2019年最新 Python 模拟登录知乎 支持验证码

2019年最新 Python 模拟登录知乎 支持验证码和保存 Cookies 知乎的登录页面已经改版多次,加强了身份验证,网络上大部分模拟登录均已失效,所以我重写了一份完整的,并实现了提交验证码 (包括中文验证码),本文我对分析过程和代码进行步骤分解,完整的代码请见末尾 Github 仓库,不...

2019-03-01 10:58:42

阅读数 484

评论数 0

提示
确定要删除当前文章?
取消 删除