亚马逊书籍

最新推荐文章于 2022-05-16 12:51:17 发布
最新推荐文章于 2022-05-16 12:51:17 发布
阅读量402 收藏
点赞数
分类专栏： python 文章标签： 亚马逊
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42717902/article/details/82624302
版权 
import os
import re
import threading
import time,datetime
import csv
from lxml import etree
import pandas as pd
import pyodbc
import requests
from pybloom_live import BloomFilter
from fake_useragent import UserAgent
#from google_translate import google_translate_EtoC as gt


DATABASE = '一带一路book'
#COUNTRY = 'China'
SOURCE='https://www.amazon.cn/'
COUNT = 5

def Bulon():
    if os.path.exists('{}.blm'.format(DATABASE)):
        bf =BloomFilter.fromfile(open('{}.blm'.format(DATABASE),'rb'))
    else:
        bf = BloomFilter(1000000,0.001)
    return bf

bf=Bulon()
def save_to_csv(book_name,author,content,information_1,information_2,information_3,information_4,information_5,information_6,information_7,information_8,information_9,information_10,information_11,information_12,description_1,description_2,description_3,description_4,description_5,description_6,description_7):
    row = [book_name,author,content,information_1,information_2,information_3,information_4,information_5,information_6,information_7,information_8,information_9,information_10,information_11,information_12,description_1,description_2,description_3,description_4,description_5,description_6,description_7]
    with open(r'D:\update\book.csv', 'a', newline='', encoding='utf-8') as file:
        f = csv.writer(file)        
        f.writerow(row)
def parse(COUNT, header, url):
    while COUNT:
        try:
            response = requests.get(url, headers=header,timeout=20)
            if response.status_code == 200:
                return response
            else:
                COUNT -= 1
        except:
            COUNT -= 1
        if COUNT == 0:
            return 0
def dd(url, header):
    print('url is'+ url)
    response = parse(COUNT, header, url)

    if response:
        selector = etree.HTML(response.content)

        try:
            book_name = selector.xpath('//div[@class="a-section a-spacing-none"]//h1//span[@id="productTitle"]//text()')[0].strip().replace("'", "''")
        except:
            book_name = ''
        try:
            author = ','.join(selector.xpath('//span[@class="author notFaded"]//a//text()')).strip().replace("'", "''")            
        except:
            author = ''
        try:
            content = ''.join(selector.xpath('//*[@id="iframeContent"]/text()').strip().replace("'", "''"))
        except:
            content = ''
        try:
            information_1 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[1]/text()').strip().replace("'", "''"))
        except:
            information_1 = ''
        try:
            information_2 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[2]//text()').strip().replace("'", "''"))
        except:
            information_2 = ''
        try:
            information_3 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[3]//text()').strip().replace("'", "''"))
        except:
            information_3 = '' 
        try:
            information_4 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[4]//text()').strip().replace("'", "''"))
        except:
            information_4 = '' 
        try:
            information_5 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[5]//text()').strip().replace("'", "''"))
        except:
            information_5 = ''
        try:
            information_6 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[6]//text()').strip().replace("'", "''"))
        except:
            information_6 = '' 
        try:
            information_7 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[7]//text()').strip().replace("'", "''"))
        except:
            information_7 = '' 
        try:
            information_8 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[8]//text()').strip().replace("'", "''"))
        except:
            information_8 = '' 
        try:
            information_9 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[9]//text()').strip().replace("'", "''"))
        except:
            information_9 = ''    
        try:
            information_10 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[10]//text()').strip().replace("'", "''"))
        except:
            information_10 = ''
        try:
            information_11 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[11]//text()').strip().replace("'", "''"))
        except:
            information_11 = '' 
        try:
            information_12 = ''.join(selector.xpath('//td[@class="bucket"]/div/ul/li[12]//text()').strip().replace("'", "''"))
        except:
            information_12 = '' 
#  description    
        try:
            description_1 = ''.join(selector.xpath('//*[@id="s_content_0"]/p/text()').strip().replace("'", "''"))
        except:
            description_1 = '' 
        try:
            description_2 = ''.join(selector.xpath('//*[@id="s_content_2"]/p/text()').strip().replace("'", "''"))
        except:
            description_2 = ''      
        try:
            description_3 = ''.join(selector.xpath('//*[@id="s_content_3"]/p/text()').strip().replace("'", "''"))
        except:
            description_3 = ''             
        try:
            description_4 = ''.join(selector.xpath('//*[@id="s_content_4"]/p/text()').strip().replace("'", "''"))
        except:
            description_4 = ''             
        try:
            description_5 = ''.join(selector.xpath('//*[@id="s_content_5"]/p/text()').strip().replace("'", "''"))
        except:
            description_5 = ''     
        try:
            description_6 = ''.join(selector.xpath('//*[@id="s_content_6"]/p/text()').strip().replace("'", "''"))
        except:
            description_6 = ''        
        try:
            description_7 = ''.join(selector.xpath('//*[@id="s_content_7"]/p/text()').strip().replace("'", "''"))
        except:
            description_7 = '' 
        print(book_name+'......'+url) 
        save_to_csv(book_name,author,content,information_1,information_2,information_3,information_4,information_5,information_6,information_7,information_8,information_9,information_10,information_11,information_12,description_1,description_2,description_3,description_4,description_5,description_6,description_7)          
def spider():
    header = {'User-Agent': UserAgent().random, 'Accept-Language': 'zh-CN,zh;q=0.9'}    
    for i in range(1,71+1):
            main_url = "https://www.amazon.cn/s/ref=sr_pg_2?rh=n%3A658390051%2Ck%3A%E4%B8%80%E5%B8%A6%E4%B8%80%E8%B7%AF&page="+str(i)+"&keywords=%E4%B8%80%E5%B8%A6%E4%B8%80%E8%B7%AF&ie=UTF8&qid=1532312722"                   
            main_response = parse(COUNT, header, main_url)
            main_selector = etree.HTML(main_response.text)
            urls = main_selector.xpath('//ul//li//div[@class="a-row a-spacing-none"]//a[@class="a-link-normal s-access-detail-page s-color-twister-title-link a-text-normal"]/@href')
#            thread_list = []
            for url_final in urls:

                if url_final in bf:
                    print('yeah_continue!!!!!!!!!!!!!!!!')
                    continue
                else: 
                    bf.add(url_final)
                    bf.tofile(open('{}.blm'.format(DATABASE), 'wb'))
#                try:   
#                    t = threading.Thread(target=dd, args=(url_final, header))
#                    t.setDaemon(True)
#                    thread_list.append(t)
#                except:
#                    pass
#            if not thread_list:
#                continue
#            for t in thread_list:
#                t.start()
#            for t in thread_list:
#                t.join(20)
                dd(url_final,header)


            #url_end 被我改成urls
#            thread_list=[]
#            for url in url_ends:
#                url_final=SOURCE+url
#                if url_final in bf:
#                    print('yeah_continue!!!!!!!!!!!!!!!!')
#                    continue
#                else:
#                    bf.add(url_final)
#                    bf.tofile(open('{}.blm'.format(DATABASE), 'wb'))
#                    t = threading.Thread(target=dd, args=(url_final, header))
#                    t.setDaemon(True)
#          


if __name__ == '__main__':
    spider()
亚马逊图书销量前五十分析
m0_65516118的博客
03-30 2967
#亚马逊图书销量前五十分析 ##背景 众所周知，亚马逊是全球最大的互联网书店。该数据集包含从2009年到2019年每年亚马逊上最畅销的前50的数据。包含550本书，使用Goodreads将数据分类为小说和非小说。
亚马逊图书研究助手「Amazon Book Research Helper」-crx插件
03-22
向亚马逊图书列表的顶部添加一目了然的信息，以减少滚动。 •如果该书是自行发布的，则显示“自发布” •显示排名，评级，评论，以周为单位的年龄和比率（以几周为单位的年龄评论除以年龄） •显示页数和估计的字数 ...
amazon图书书目数据库查询接口
07-12
采用Product Advertising API，我在做书店销售线上系统的时候用的，用PHP编写脚本还是很好用的.希望对各位有帮助
亚马逊中国发布2018图书排行榜
梦想之始
01-03 5238
亚马逊中国发布2018图书排行榜 　　12月21日，亚马逊中国隆重举办“挚爱阅读——2018亚马逊年度阅读盛典”，发布基于亚马逊阅读数据产生的2018年度阅读榜单，并联合新华网及众多国内知名出版机构发起并揭晓“40年·25部影响力外译作品”书单。 　　根据亚马逊中国2018年销售数据，经管类新书《原则》位居2018中国年度纸质书畅销榜、纸质书新书榜和Kindle付费电子书新书榜三份榜单之首...
Amazon上最畅销的「操作系统书」有哪些？
朱小厮的博客
09-11 889
点击上方“朱小厮的博客”，选择“设为星标”回复”资料“获取新整理的1TB资料亚马逊上面有关于计算机书籍的详细分类，读者可以通过书籍的分类去找到你想要的那本书，有时候我们也...
amazon 运营必备工具（工具推荐无相关工具）
10-10
最全亚马逊运营工具包， 选品关键词 工具 包大全 。 DS Amazon Quick View 一个牛逼的插件，可以在搜索页面提取产品的排名及详细信息，方便快速浏览。这个插件相对于keepa的好处在于不需要点到listing中就可以查看排名，搜索关键词就会将每个listing的排名情况展示出来，个人觉得非常方便。
Python实现多线程编程脚本定时任务
dong的博客
11-02 1348
Python脚本定时任务 import datetime import schedule import threading import time import os from datetime import datetime, date, timedelta ### #执行命令 def dituTask(): yesterday = (date.today() + timedelta(days=-1)).strftime("%Y%m%d") os.system("nohup python3
python爬虫如何爬亚马逊_Python爬取当当、京东、亚马逊图书信息代码实例
weixin_39926588的博客
11-28 310
注：1.本程序采用MSSQLserver数据库存储，请运行程序前手动修改程序开头处的数据库链接信息2.需要bs4、requests、pymssql库支持3.支持多线程from bs4 import BeautifulSoupimport re,requests,pymysql,threading,os,tracebacktry:conn = pymysql.connect(host='127.0....
通过 Amazon 获取图书的封面
记录
03-31 1282
1. 打开亚马逊官网 地址：https://www.amazon.cn/ 2. 搜索图书 这里以《ARKit 原生开发 入门精粹》为例 3. 获取 ASIN 编号 该书的 ASIN：B09995RR9H 4. 将 ASIN 填入封面地址 # 首选 https://m.media-amazon.com/images/P/*****.01.MAIN._SCRM_.jpg # 备选 http://s3.cn-north-1.amazonaws.com.cn/sitbweb-cn/content/*****/i
爬取亚马逊图书照片
weixin_44596859的博客
05-21 326
from selenium import webdriver# 自动化库 # 引入 ActionChains 类 from bs4 import BeautifulSoup import re import time import requests import os headers = { "user-agent": "Mozilla/5.0 (Windows...
python爬取亚马逊书籍信息代码分享
12-25
我分析网站后发现，亚马逊有个高级搜索的功能，我就通过该搜索结果来获取书籍的详情URL。 由于亚马逊的高级搜索是用get方法的，所以通过分析，搜索结果的URL，可得到node参数是代表书籍类型的。field-binding_browse...
百度地图开发java源码-Amazon-BookMonitor:基于Java实现的一个简单小爬虫，用于监控亚马逊图书商店的优惠信息
06-06
最近买了台Kindle，感觉亚马逊上的图书资源质量挺好，还时不时地会有价格低但质量高的书出售，但限于亚马逊并没有很好的优惠提醒功能，自己天天盯着又很累。于是，我自己写了一个基于Java的亚马逊图书监控的简单爬虫...
整理自亚马逊的图书分类大全
04-16
### 图书分类大全知识点梳理 #### 一、文学与艺术 **1.1 文学** - **文学理论**: 探讨文学的本质、特征及其发展规律。 - **文学评论与鉴赏**: 分析文学作品的艺术价值和社会意义。 - **文学史**: 按照时间顺序...
模块讲解——time,datetime,json,os,requests
liwenqianye的博客
05-16 334
文章目录time模块datetime模块数据格式及转换json模块OS模块requests模块 time模块 time.sleep(n) : 休息n秒 time.time()：返回一个从epoch到现在的秒数，epoch：start of time import time # 计算时间消耗 print(time.time(), type(time.time())) # 1652579195.387747 <class 'float'> time.time()可以用来计算一个程序执行所消耗的时间
ip池
热门推荐
qq_42717902的博客
09-13 8万+
182.99.253.180:61234 39.137.77.67:8080 118.212.137.135:31288 221.182.133.161:375 59.44.16.6:8000 117.127.0.197:8080 39.135.35.19:80 47.89.18.87:80 221.182.133.175:9999 218.65.67.15:61234 121...
下载表格
qq_42717902的博客
09-12 1552
# -*- coding: utf-8 -*- import csv import time import threading from bs4 import BeautifulSoup as bs import pandas as pd import requests #国家字典 country_dict={'AFGHANISTAN TIS': '1', 'ALBANIA': '3', '...
百度舆情
qq_42717902的博客
09-11 1232
import requests import json import codecs import time import random import csv from fake_useragent import UserAgent import pandas as pd from selenium import webdriver from lxml import etree from bs4 i...
51job
qq_42717902的博客
09-13 475
# import urllib.request import re import xlwt#用来创建excel文档并写入数据 import requests import csv from lxml import etree from fake_useragent import UserAgent COUNT = 3 def parse(COUNT, header, url): while...
亚马逊图书大全：577类别深度解析
这些分类展示了亚马逊图书的广泛覆盖，无论是专业研究者、学生还是普通读者，都能在这里找到适合自己兴趣和需求的书籍。通过这个分类系统，读者可以方便地找到所需的知识，进一步丰富自己的精神世界。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值