python beautifulsoup抓取京东商品名称和价格

原创 2015年07月10日 09:15:24

使用beautifulsoup抓取京东商品的名称和价格

#coding=utf-8

import urllib
import urllib2
import cookielib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8") #处理编码


product ="ThinkPad i5"


text = urllib.urlopen("http://search.jd.com/Search?keyword="+product+"&enc=utf-8").read()
soup = BeautifulSoup(text)


content = soup.find_all('div', attrs={'class':'lh-wrap'})
for wrap in content:
name_tags = wrap.find_all('div', attrs={'class':'p-name'})
for name in name_tags:
print '商品:'+name.find('a').get_text()
price_tags = wrap.find_all('div', attrs={'class':'p-price'})
for price in price_tags:
print '价格:'+price.find('strong').get('data-price')
print '------------------------------------------------------------------'

python抓取京东商城的商品名称和价格

突然心血来潮想抓一个京东的商品价格,突然发现网页的源码里没有价格这一项,只有商品的编号,网上说是显示的同事js从数据库里取出商品价格,放在页面上,那么我只能模拟请求了。哇咔咔,记得去你给京东投简历之后...
  • djd1234567
  • djd1234567
  • 2015年04月29日 01:06
  • 7180

Python爬虫——实战一:爬取京东产品价格(逆向工程方法)

在京东的单个产品页面上,通过查看源码检查html,可以看到 ¥ 这里没有直接给出价格。这是因为价格数据是通过JS动态加载的,而HTML源码中并不包含动态加载的页面内容。获取京东商品的价格#-*- ...
  • VictoriaW
  • VictoriaW
  • 2017年08月15日 21:27
  • 3712

利用python抓取京东的数据

# -*- coding: utf-8 -*- import json; import urllib.request; from pandas import Series; from pandas ...
  • ailinyingai
  • ailinyingai
  • 2016年02月15日 10:29
  • 1482

Python爬虫学习之抓取商品名称和价格

看到网上有可以查看商城历史价格的网站,有时候查查某件想买的商品是不是历史最低价,还是蛮有用的。用了几次后就想着这种网站的功能是怎么实现的,那就是使用爬虫技术,定时爬取这些商城的商品价格,然后保存到数据...
  • iTechzero
  • iTechzero
  • 2016年12月09日 13:12
  • 804

Requests+Beautifulsoup+re百度贴吧抓取实例(python3.4逐行解释)

Requests+Beautifulsoup+re百度贴吧抓取实例(python3.4逐行解释)
  • baidu_22713341
  • baidu_22713341
  • 2015年10月21日 08:40
  • 1059

【Python爬虫】按时爬取京东几类自营手机型号价格参数并存入数据库

一、最近刚好想换手机,然后就想知道京东上心仪的手机价格如何,对比手机价格如何,以及相应的历史价格,然后就用Python requests+MySQLdb+smtplib爬取相关的数据二、关于实现的主要...
  • xingzpo5
  • xingzpo5
  • 2016年11月06日 00:52
  • 538

【Python】抓取京东列表页商品信息(selenium)

分析 url:https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=...
  • ns2250225
  • ns2250225
  • 2017年08月04日 17:25
  • 882

mysql 数据库 day_06

事务 ============================================     *) 事务是数据操作的最小单元     *) 多个数据增删改操作,完成的一项业务处理    ...
  • Jie_Never_say_die
  • Jie_Never_say_die
  • 2017年10月16日 21:58
  • 171

京东商城手机频道商品价格信息的抓取

在做页面解析时,最大难度在于对动态数据的抓取,特别是由ajax加载的内容。目前对这方面的处理还没很好的解决方案,,虽然有htmlunit之类的模拟浏览器运行工具包,但是其效率以及准确性远远不能满足实际...
  • km1218
  • km1218
  • 2014年11月19日 16:52
  • 2366

使用Python+selenium+BeautifulSoup抓取动态网页的关键信息

程序目的:根据特定的SNP list, 在千人基因组数据库中爬取CHB人群的等位基因频率信息。 因为网页是动态的数据,嵌入了JavaScript代码,因此借助selenium来爬取信息。 Beau...
  • VincentLuo91
  • VincentLuo91
  • 2016年10月27日 16:39
  • 5855
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python beautifulsoup抓取京东商品名称和价格
举报原因:
原因补充:

(最多只允许输入30个字)