京东商品爬取

最新推荐文章于 2019-08-02 10:37:00 发布
最新推荐文章于 2019-08-02 10:37:00 发布
阅读量224 收藏
点赞数
分类专栏： 编程 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42348105/article/details/90408796
版权 
import requests
url="https://item.jd.com/676676.html"
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text)
except:
    print("爬取失败")

在这里插入图片描述

忠＆＆信
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
京东商品的爬取
京东商品信息爬取——我的第一个CSDN
12-25 7420
这里写自定义目录标题888新1715613413下面来说下整体代码思路吧和每个自定义的功能和自己做的小处理 888 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新17 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们...
Python re正则表达式爬取京东商品图片.py
04-19
Python re正则表达式爬取京东商品图片，实例源代码代码， 部分代码：def geturllist(html): pattern = re.compile(r'data-lazy-img="//(.+?\\.jpg)"',re.M) imglist = re.findall(pattern, html) return imglist
京东等电商爬虫问题与总结（二）
热门推荐
tao_jiayun的博客
08-17 1万+
京东等电商爬虫问题与总结（二） 京东 这一段时间比较忙，更新也不及时。。。下面将总结一下在写京东爬虫的时候，遇到的一些问题。 京东的页面，列表页的数据基本包含了所有的信息了，详情页里面也没有什么有价值的信息了。所以我的数据都是取自于列表页。并且京东的数据经过我多次测试（主要是公司很多运营同学在使用。。。），他是不反爬的。 因为我使用的是webmagic这个框架，所以页面下载、解析这些继承...
python爬取京东商城商品信息(自动爬取)
人生苦短， 还不用Python？
05-18 4818
创建一个crawl爬虫，爬取京东的商品信息，并且写入数据库中。　　 (1)创建scrapy项目　　　　scrapy startproject　jingdong　　 (2)常见自动爬取文件　　　　scrapy genspider -t crawl jd jd.com　　 (3)items.py . (4)jd.py (5)pipelines.py (6)se...
python京东商品爬取
10-08
python 京东商品的爬取，requests的使用，以及爬取下来之后用BeautifulSoup对网页的解析
JD-python爬取京东商品信息_爬取商品信息_京东_
10-03
在提供的`JD-python爬取京东商品信息.js`文件中，可能包含了爬虫代码的实现，可以作为学习和参考的实例。通过阅读和理解代码，你将更深入地了解如何实际应用上述步骤。 总之，Python爬虫技术在数据采集领域有着广泛...
京东商城商品信息爬取_爬虫_京东_
09-30
京东商城商品信息爬取是这个项目的核心，它的目标是从京东商城的网站上抓取商品的相关信息，然后进行数据分析，以便于构建一个类似功能的商城网站。在这个过程中，我们需要掌握以下几个关键知识点： 1. **网络爬虫...
多个京东商品评论爬取.py
04-11
网络爬虫，只需将url后的keyword更换为搜索结果上网址对应的keyword即可
京东商品评论爬取
11-05
一个爬取京东评论页的代码，简单易懂，0基础可学，可读性很高哦
自动查京东商品库存
09-12
输入SKU可自动查询库存情况。。。。。。。。。。。。 输入SKU可自动查询库存情况。。。。。。。。。。。。 输入SKU可自动查询库存情况。。。。。。。。。。。。
爬取京东的商品信息，并保存至CSV文件中（类）
二次元肥宅
12-27 3124
# -*- coding: utf-8 -*- # @Time : 2018/12/27 17:06 # @Author : zhangxinxin # 感谢小六，小勾， 小胖给予的帮助 # @Email : 778786617@qq.com # @Software: PyCharm import csv import requests import time import jso...
爬虫八之爬取京东商品信息
weixin_30569001的博客
08-02 346
爬取京东关键字商品的title, image以及price. 注：代码放在github上，这里只讨论出现的问题和解决办法。 本来是爬取淘宝的，但是淘宝在搜索关键词时要登陆；使用selenium我还不会添加cookies, 因此比较麻烦，所以转而爬取不需要登陆的京东。 爬取时，应安装好需要的包，以及需要有一个Chrome浏览器， 以及配置好Chromedriver. 京东网页有个问题就...
php抓取网页的基本操作
一只正在努力进化的程序猿
11-13 405
<?php // 创建一个新cURL资源 $ch = curl_init(); $url="http://www.333ttt.com/"; // 设置URL和相应的选项 curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch,CURLOPT_RETURNTRANSFER,true); //请求结果不直接打印 // 抓取URL并把它传递给浏览器 $
翻页代码，商品列表页；
weixin_30613433的博客
07-17 224
/*********翻页**********/#page-table a{padding: 5px;border: 1px solid #F00;margin: 5px;}#page-table span.current{padding: 5px;background: #F00;margin: 5px;color:#fff;font-weight: bold;} // 商品列表页 pub...
Python爬虫-爬取京东商品信息-按给定关键词
weixin_30681121的博客
05-25 595
目的：按给定关键词爬取京东商品信息，并保存至mongodb。 字段：title、url、store、store_url、item_id、price、comments_count、comments 工具：requests、lxml、pymongo、concurrent 分析： 1.https://search.jd.com/Search?keyword=耳机&enc=utf-8&...
使用selenium完成京东商品的爬取
最新发布
05-20
好的，下面是使用Selenium完成京东商品爬取的步骤： 1. 安装Selenium库 ``` pip install selenium ``` 2. 下载Chrome浏览器驱动 Selenium需要浏览器驱动来控制浏览器。这里以Chrome浏览器为例，下载对应版本的驱动：https://sites.google.com/a/chromium.org/chromedriver/downloads 3. 编写爬虫代码 以下是一个简单的例子，可以爬取京东商品的名称、价格和链接： ```python from selenium import webdriver # 创建Chrome浏览器驱动对象 driver = webdriver.Chrome('chromedriver.exe') # 打开京东首页 driver.get('https://www.jd.com/') # 在搜索框中输入关键词并搜索 input_elem = driver.find_element_by_id('key') input_elem.send_keys('手机') search_btn = driver.find_element_by_class_name('button') search_btn.click() # 等待搜索结果页面加载完成 driver.implicitly_wait(10) # 获取搜索结果中的商品列表 product_list = driver.find_elements_by_css_selector('.gl-item') # 遍历商品列表，提取名称、价格、链接等信息 for product in product_list: name = product.find_element_by_css_selector('.p-name a').text price = product.find_element_by_css_selector('.p-price strong i').text link = product.find_element_by_css_selector('.p-name a').get_attribute('href') print(name, price, link) # 关闭浏览器 driver.quit() ``` 在上面的代码中，使用`webdriver.Chrome`创建Chrome浏览器驱动对象，并使用`get`方法打开京东首页。然后，使用`find_element_by_id`和`find_element_by_class_name`等方法定位搜索框和搜索按钮，并模拟用户输入关键词和点击搜索按钮。接着，使用`implicitly_wait`方法等待搜索结果页面加载完成。最后，使用`find_elements_by_css_selector`方法定位商品列表，遍历列表，提取商品的名称、价格和链接等信息，并打印输出。最后，调用`quit`方法关闭浏览器。 需要注意的是，Selenium是一个自动化测试工具，爬虫使用时要注意不要频繁请求，以免被网站封禁IP。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值