一篇拖了超久的爬虫学习心得笔记+总结

准备搞事情之豆瓣爬虫篇

接到一个任务要做一个关于豆瓣的爬虫，那首先我们需要确定目标是谁，那就是下面这个网址：

https://book.douban.com/top250

很完美的一个网址，主网址后面加上站名，emmmm……似乎可以渗透测试一些……

醒醒！醒醒！

那么回到正确的路线上来~

第一步

当然是确定需求了，谁也不希望经历被产品经理在中间改需求的悲惨遭遇。

因为很喜欢这种黑色的背景，所以需求也写在这里了

需求：
使用Python语言制作如下功能
创建个数据库
使用网络爬虫爬取豆瓣250大图书排行榜
爬回前100名的图书的信息，并记录在数据库中需要记录每本书的书名、作者、出版社、封面图像连接、短评
每笔数据限用一笔数据多个栏位，每笔数据的ID要设定为Primary Key ,值使用每本书的豆瓣链接位置

第二步

当然是分析网页了，不要问，不要说，一切尽在不言中~

F12直接打开网页代码

我就直接贴出来了，吼吼吼吼

       <p class="ulfirst"></p>
      <table width="100%">
        <tr class="item">
          <td width="100" valign="top">
            <a class="nbg" href="https://book.douban.com/subject/1007305/"
              onclick="moreurl(this,{i:'0'})"
              >
              <img src="https://img1.doubanio.com/view/subject/s/public/s1070959.jpg" width="90" />
            </a>
          </td>
          <td valign="top">         
           <div class="pl2">
              <a href="https://book.douban.com/subject/1007305/" onclick=&#34;moreurl(this,{i:&#39;0&#39;})&#34; title="红楼梦"           
              >
                红楼梦          
              </a>    
            </div>

              <p class="pl">[清] 曹雪芹 著 / 人民文学出版社 / 1996-12 / 59.70元</p>
            <div class=