python beautifulsoup抓取京东商品名称和价格

原创 2015年07月10日 09:15:24

使用beautifulsoup抓取京东商品的名称和价格

#coding=utf-8

import urllib
import urllib2
import cookielib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8") #处理编码


product ="ThinkPad i5"


text = urllib.urlopen("http://search.jd.com/Search?keyword="+product+"&enc=utf-8").read()
soup = BeautifulSoup(text)


content = soup.find_all('div', attrs={'class':'lh-wrap'})
for wrap in content:
name_tags = wrap.find_all('div', attrs={'class':'p-name'})
for name in name_tags:
print '商品:'+name.find('a').get_text()
price_tags = wrap.find_all('div', attrs={'class':'p-price'})
for price in price_tags:
print '价格:'+price.find('strong').get('data-price')
print '------------------------------------------------------------------'

相关文章推荐

python抓取京东商城的商品名称和价格

突然心血来潮想抓一个京东的商品价格,突然发现网页的源码里没有价格这一项,只有商品的编号,网上说是显示的同事js从数据库里取出商品价格,放在页面上,那么我只能模拟请求了。哇咔咔,记得去你给京东投简历之后...

Python爬虫学习之抓取商品名称和价格

看到网上有可以查看商城历史价格的网站,有时候查查某件想买的商品是不是历史最低价,还是蛮有用的。用了几次后就想着这种网站的功能是怎么实现的,那就是使用爬虫技术,定时爬取这些商城的商品价格,然后保存到数据...

抓取凡客一万多商品,链接,商品名称,价格,图片~~~版本1

版本1不能输出到txt中,还有一些没清干净的显示错误,如:需要屏蔽掉市场价:>市场价¥299售价:>售价¥99中的一些杂乱符号项,留下市场价和售价就行了。。。。。。。。。除此,我还需要抓取图片,然后再...

Python爬虫(一)京东商品价格及详情页抓取

这是一个以http://item.jd.com/2957726.html为例的单网页抓取案例 import urllib.request; #载入urllib.request,用于获取页面html源...
  • maxca
  • maxca
  • 2016年06月30日 10:54
  • 3257

python 商品名称相似度查找(difflib库和结巴分词的运用)

今天同事被告知要写一个查询商品相似度的系统,我以为事类似推荐系统一样的高大上系统,心中暗自庆幸没有被委以如此重任,不然在紧迫的时间里学习实现这套系统一定会睡眠不足的,后来同事讲解后我才知道只是一个商品...

京东商城手机频道商品价格信息的抓取

在做页面解析时,最大难度在于对动态数据的抓取,特别是由ajax加载的内容。目前对这方面的处理还没很好的解决方案,,虽然有htmlunit之类的模拟浏览器运行工具包,但是其效率以及准确性远远不能满足实际...
  • km1218
  • km1218
  • 2014年11月19日 16:52
  • 2252

oracle正则表达式----通过解析商品名称学习

1.oracle 正则统配符号 '^'     匹配开始位置,注:方括号内表示否的意思。 '$'    匹配结尾位置 '.'    匹配除换行符 \n之外的任何单字符。 '?'   匹配前面的子表达式...

进出口商品名称与编码

  • 2013年01月10日 12:28
  • 924KB
  • 下载

[爬虫]使用python抓取京东全站数据(商品,店铺,分类,评论)

一、环境 OS:win10 python:3.5 scrapy:1.3.2 pymongo:3.2 pycharm 环境搭建,自行百度二、数据库说明1. 产品分类京东大概有1183个分类,这是除去了一...

淘宝京东购物车价格计算,商品店铺联动js

{% extends 'mobile/include/common_page_template.html' %} {% load xiaozhuang_console_tag %} {% block ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python beautifulsoup抓取京东商品名称和价格
举报原因:
原因补充:

(最多只允许输入30个字)