python爬虫随笔3 妹子图爬虫

前言

• 其实最早知道python爬虫就是知乎接触的妹子图爬虫，这次等于是自己写的；很多类库都是自己喜欢那个就用那个了；

思路

1. 首先我们需要一个导航页，然后找到我们需要的类似于列表之类的，然后得到链接集合
   

#通过主页导航，获取链接集合
def getPicture():
    url = "http://www.mmjpg.com/tag/meixiong"
    r = requests.get(url, headers=getHeaders());
    r.encoding = 'utf8'
    q = PyQuery(r.text)
    list = list()
    for each in q('body > div.main.topno > div.pic > ul > li>a').items():
        list.append(each.attr.href)
    for href in list:
        downLoad(href)

1. 然后在每个链接中，我们发现，是用js加载全部图片的，这里我的处理方式是直接拿到图片地址，因为从第1张开始，编号就只是2,3,4.。。。而已；

def downLoad<