图书信息库完整解决方案（一）

去年因为忙一个图书漂流的项目，大概花了三个月的时间，完成了图书信息库的建立。截止目前为止，已经收录了200多万条的图书数据，并且每周还在自动更新中，打算将这个项目完整的整理出来，算阶段性工作的一个总结吧。

方案主要功能如下：

1、实现了按照当当图书分类， 抓取每个分类下前100页图书数据的功能。

2、支持按照ISBN获取图书详情信息， 如果库里不存在则优先从当当处获取图书信息，如果当当获取不到再从豆瓣获取。如果当当和豆瓣都存在这本书，则综合两者的图书信息入库。

3、技术难点：主要有两部分，一个是如何解析当当网页，从繁杂的网页结构里取出需要的图书详情信息；另一个是如何避免因长时间的抓取被当当封掉ip，这里采用了一个巧妙的机制，既能不花钱又能建立起自己的代理ip库。

接下来会慢慢来梳理。