亚马逊苹果手机数据爬取

原创 2018年04月15日 23:15:35
亚马逊苹果手机相关信息爬取
import re
from  bs4 import BeautifulSoup
import time
import requests
amazon_url = 'https://www.amazon.cn/s/ref=sr_pg_2?rh=n%3A664978051%2Cn%3A665002051%2Ck%3Aiphone&page=1&bbn=665002051&keywords=iphone&ie=UTF8&qid=1523800289'
def get_page_num(url):
    '''此函数用来要爬取总获页面数'''
    user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/64.0.3282.186 Safari/537.36'
    headers = {'User-Agent':user_agent}#这是头信息,伪装爬虫
    res = requests.get(url,headers=headers)
    soup = BeautifulSoup(res.text,'lxml')
    page_num = soup.find('span',{'class':'pagnDisabled'}).get_text()
    return page_num
def save_data(title,price):
'''爬取的数据保存为文本格式'''
    with open('{}.txt'.format(time.strftime('%Y_%m_%d',time.localtime(time.time()))),'a') as f:
        #time.time()当前时间秒数
        #localtime()时间秒数转化为时间元祖
        #time.strftime(),时间元祖格式为字符串
        f.write(title + '\t' + price + '\n')
def down_data(page_num):
    for i in range(1,int(page_num)+1):
        url = 'https://www.amazon.cn/s/ref=sr_pg_2?rh=n%3A664978051%2Cn%3A665002051%2Ck%3Aiphone\
        &page={}&bbn=665002051&keywords=iphone&ie=UTF8&qid=1523800289'.format(i)
        user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)\
            Chrome/64.0.3282.186 Safari/537.36'
        headers = {'User-Agent':user_agent}#这是头信息,伪装爬虫
        res = requests.get(url,headers=headers)
        soup = BeautifulSoup(res.text,'lxml')
        titles = soup.find_all('h2',{'class':'a-size-base'})
        prices = soup.find_all('span',{'class':'a-size-base a-color-price s-price a-text-bold'})
        for i,j in zip(titles,prices):
            save_data(i.text,j.text)
if __name__ == '__main__':
    page_num = get_page_num(url)
    down_data(page_num)

python爬取亚马逊简单的书籍信息

我有个需求就是抓取一些简单的书籍信息存储到mysql数据库,例如,封面图片,书名,类型,作者,简历,出版社,语种。...
  • tianxiazuixian
  • tianxiazuixian
  • 2016-11-24 16:50:33
  • 1103

【开源】scrapy爬取亚马逊商品信息

一、前言        最近的一个项目需要用到爬虫,虽然以前用JAVA也写过爬虫,不过实现的都是一些简易的功能,比如我开发的一个微信公众号(叫“妈妈再也不担心”,大家可以关注下),里面比如的NBA赛事...
  • C_son
  • C_son
  • 2015-01-29 10:29:18
  • 5921

python爬取亚马逊排名实例

  • 2018年01月13日 11:31
  • 2KB
  • 下载

Scrapy爬取亚马逊商品信息

关键词:Scrapy spider pipeline xpath 参考文档 Scrapy 0.24中文版官方文档(PDF格式) csdn下载 Xpath教程 W3school-XPath ...
  • u013830811
  • u013830811
  • 2015-05-17 19:31:53
  • 1850

如何使用代理IP进行数据抓取,PHP爬虫抓取亚马逊商品数据

什么是代理?什么情况下会用到代理IP?代理服务器(Proxy Server),其功能就是代用户去取得网络信息,然后返回给用户。形象的说:它是网络信息的中转站。通过代理IP访问目标站,可以隐藏用户的真实...
  • think887766
  • think887766
  • 2018-03-15 14:38:54
  • 115

pyhton爬虫(10)——通过亚马逊商品评论时间分析商品销量分布情况

本文以亚马逊rope bag商品为例,共采集到1989条商品评论时间数据,并选取15年1月——17年7月的1809条数据来绘制分月销量图。采集数据的python代码如下所示:# -*- coding:...
  • FlySky1991
  • FlySky1991
  • 2017-07-24 17:15:46
  • 633

Python爬虫——实战四:爬取亚马逊的商品价格

亚马逊的html源码中直接包含了价格信息,所以不再需要逆向工程或者渲染引擎方法获取价格信息。 但是在使用urllib2.openurl()获取html页面时,总是返回503错误。尝试用用户代理、Co...
  • VictoriaW
  • VictoriaW
  • 2017-08-18 18:23:03
  • 2794

pyhton爬虫(11)——抓取亚马逊商品类别信息

本文主要提取亚马逊23个大类、254个小类的类别名称和链接,后面会在此基础之上进一步提取各个类别下的商品详情信息。实现代码如下所示:# -*- coding: utf-8 -*- """ Create...
  • FlySky1991
  • FlySky1991
  • 2017-07-31 17:58:50
  • 1916

京东和亚马逊商品页面的爬取

京东商品页面的爬取 和亚马逊商品页面的爬取
  • lafengxiaoyu
  • lafengxiaoyu
  • 2017-09-05 21:08:37
  • 618

CasperJS 1分钟写完爬虫拿亚马逊商品数据

角色 Q: 私ねえ, Qです,よろしくお願いしますよ (我呀, 是小Q,请多多关照哟)   A:  我是大叔 啊叁锅米 Q: 原来是 阿三呀, 最近行情不好,跑cn来啦呀 A:...
  • cengjingcanghai123
  • cengjingcanghai123
  • 2015-09-23 15:56:50
  • 1376
收藏助手
不良信息举报
您举报文章:亚马逊苹果手机数据爬取
举报原因:
原因补充:

(最多只允许输入30个字)