python
Resemble_
一只程序猿的奇思妙想
github: https://github.com/Resemble
展开
-
Python爬虫利器之PhantomJS的用法
前言 大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了。所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。 其中有一个比较常用的工具,那就是 PhantomJS Full web stack No brow转载 2016-10-17 21:00:35 · 6317 阅读 · 2 评论 -
Python爬虫利器之Selenium的用法
前言 在上一节我们学习了 PhantomJS 的基本用法,归根结底它是一个没有界面的浏览器,而且运行的是 JavaScript 脚本,然而这就能写爬虫了吗?这又和Python有什么关系?说好的Python爬虫呢?库都学完了你给我看这个?客官别急,接下来我们介绍的这个工具,统统解决掉你的疑惑。 简介 Selenium 是什么?一句话,自动化测试工具。它支持各种浏览器,包括 Chro转载 2016-10-17 20:58:48 · 1289 阅读 · 0 评论 -
Python3 安装bulitwith 和urllib2包
# 背景 最近在看PACKT的Python Web Scraping, 书上用的是Python 2.X,但是自己电脑上却用的Python 3.4。 版本升级没什么好说的,只是很多的工具包并没有跟着升级。同时目前很多经典教材都是2.X为基础的,并没有跟着升级3.X的内容。十分无语。 搜了下知乎,发现许多人还是认可Python3的升级。 只是我记得Python的快速原型部署一直转载 2016-09-24 20:23:38 · 26802 阅读 · 3 评论 -
Python 编码规范
本文转载自:http://liyangliang.me/posts/2015/08/simple-python-style-guide/ 仅仅作为学习使用 遵循良好的编码风格,可以有效的提高代码的可读性,降低出错几率和维护难度。在团队开发中,使用(尽量)统一的编码风格,还可以降低沟通成本。 网上有很多版本的编码规范,基本上都是遵循 PEP8 的规范: PEP 0008 –转载 2017-03-23 21:13:28 · 4800 阅读 · 0 评论