python编程设计师_从python开始一个全栈项目 程序员&设计师福利篇

更新 7月16日18点

现在不会自己写代码调用API的同志们可以直接访问咯

图片发自简书App

图片发自简书App

更新 7月16日12点

现在我们可以愉快的使用了，flask API和后台服务已经部署在了服务器上(新加坡)！！！

恩，更新一下，目前已经可以在HTML页面进行数据展示了：

web界面运行效果图

配图纯属为了好看

我在说什么

声明：

1.我不是一个标题党

2.我一般只提供干货

事实上，我实在干这样一件事，他大概分为如下几个步骤：

一、获取一些优秀的设计素材的数据

二、存储和筛选这些数据

三、编写一套API提供数据

四、编写一个网页调用API 展现数据

五、编写iso和android客户端展现数据

应用场景：

当你在闲暇的时候，打开手机或者网页，查看一下最近有没有什么好的设计素材或者比较感兴趣的HTML页面。

恩，你可能看到很多，突然发现一个让你眼前一亮的，然后你手藏了他。

有一天你正在写一个HTML页面或者设计产品原型，突然，你的脑子里闪过一些东西，于是你打开了你的手机查看了一下收藏夹......

接下来，我们就来看看，如何实现：

数据获取

首先，数据主要是从各大免费的设计素材资源网站拿到的，这需要用到python爬虫。

其次，这类网站大量的使用了JS来加载内容，我选择selenium+phantomJS渲染JS。

最后，从爬取到的内容内获取想要的，我选择用pyquery来获取html节点(不要问为什么，因为我习惯用jquery！)

存储数据

数据结构

数据结构很简单，我不过就是想获取一张预览图，一个预览地址(或者下载地址)，还有标题！

一条数据大概会是这样：

{

"download": "http://www.doooor.com/thread-2762-1.html",

"preview": "http://img.doooor.com/img/forum/201404/16/173909sczpof6sf26eckcf.jpg.thumb.jpg",

"title": "STARS TOUCH 完全扁平化网页设计"

}

数据持久化

我们对数据的存储要求不是很高，因为最近在学习redis，所以就用redis，利用快照持久化！

爬虫的框架

一、我不懂什么框架，而且总体来说，要爬取得网站就那几个。自己编写一下规则就好了。

二、避免重复工作，用redis来存储待爬和爬过的url。

三、分布式？ 哈哈，也许，可能大概是支持的吧。

四、效率？使用了selenium和phantomJS，貌似不用谈效率了，不过有些优化的小知识啦！

五、我是怎么实现的：

首先，我定义了一个爬虫服务 service.py，主要作用是连接redis，开始爬取工作，记录工作内容和工作结果。

然后，我写了一个爬虫工具 servicetools.py, 主要作用是模拟浏览器访问url，查找需要的元素和内容。

service.py 管理者-劳动者模式 (管理者Master发布任务，劳动者Work进行具体工作.)

管理者维护一个Redis 的 List 按照先进先出的模式， 每次发布一个url出去

劳动者接收到管理者的url，开始执行网页爬取工作，工作完成后 管理者pop掉这个url

劳动者如果获取的数据是url,则封装成list 提交给管理者， 管理者挨个push url.

servicetools.py(具体的网页爬取工作)

使用phantomJS和selenium结合，使用pyquery进行节点和内容的获取，不同的网站需要不同的规则。

目前实现的功能 和存在问题：

总体来说，运行良好，效率足够(根本不是实时系统嘛)！

额，比较费内存，可以在晚上睡觉之前执行，偶尔会出现假死，主要是phantomJS的优化没做！

如果程序异常推出，再次启动依旧能够继续工作，且不重复之前工作！

API的实现

上面的爬虫运行半个小时之后，大概就会有500多条有效数据，这些数据全部被存在redis里面(hset)。

可以参见我之前的文章快速入门 基于Flask实现Restful风格API,比较详细的介绍了如何使用flask来实现一个restful的API。

这里的flask程序需要从redis拿数据，我自己定义了一个数据源(连接redis分发数据)。

目前已经完成的工作

目前已经基本实现API获取数据，爬虫还正在努力的运行，稳定以后，将会设置系统任务，在每天半夜3点开始，五点结束。

看一张效果图吧：

API 可以返回简洁有用的数据

随便点击一个，预览图片也很不错呢

下一步的工作

继续发现和修补爬虫的bug

增加用户系统和认证机制，这样大家就可以收藏了

租一个云主机(求有需求的伙伴打赏)

编写客户端

公开源代码

最后，如果你对这个项目感兴趣，请发我简信，或者直接在下面评论！

还有，服务器好贵，真希望有人能打赏，让我早点把API公开。