【爬虫】Pycharm+requests+pyquery 爬取煎蛋网+豆瓣+好乐买商品图片
说明:
爬虫的基本思路都是获取某一url的网页的字符串,然后可以通过正则,beautifulsoup或者这里使用的PyQuery来进行解析。图片一般都是以链接的形式出现在html文本中,因此只需要找到图片连接即可(一般是在img src中),这时再把图片url打开,江里面的content保存成具体的文件。这里使用的hashlib实际上是一个编码的库,为了使得每一个图片的名字不一样,就用md5这个...
原创
2018-07-18 09:54:33 ·
878 阅读 ·
0 评论