python 京东 价格_python 京东商品价格爬虫示例

这篇文章主要为大家详细介绍了python 京东商品价格爬虫示例，具有一定的参考价值，可以用来参考一下。

对python这个高级语言感兴趣的小伙伴，下面一起跟随512笔记的小编两巴掌来看看吧！

闲着没事尝试抓一下京东的数据，需要使用到的库有：BeautifulSoup，urllib2，在Python2下测试通过

# @param 用python编写的抓京东商品价格的爬虫

# @author 512笔记|www.512PiC.com

from creepy import Crawler

from BeautifulSoup import BeautifulSoup

import urllib2

import json

class MyCrawler(Crawler):

def process_document(self, doc):

if doc.status == 200:

print '[%d] %s' % (doc.status, doc.url)

try:

soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))

except Exception as e:

print e

soup = BeautifulSoup(doc.text)

print soup.find(id="product-intro").div.h1.text

url_id=urllib2.unquote(doc.url).decode('utf8').split(&