Python爬虫实战之爬某宝商品并做数据分析,现在赚钱没点技术还真不行!(1)

文章介绍了如何使用Python脚本从淘宝商品页面抓取价格、销量数据,并分析评论,包括使用CSV处理、网页元素定位、数据分段统计以及生成词云图。
摘要由CSDN通过智能技术生成

reader = csv.DictReader(f, fieldnames=fieldnames)

for index, i in enumerate(reader):

if index != 0:

price = float(i[‘价格’].replace(‘¥’, ‘’))

prices.append(price)

DATAS = {‘<10’: 0, ‘10~30’: 0, ‘30~50’: 0,

‘50~70’: 0, ‘70~90’: 0, ‘90~110’: 0,

‘110~130’: 0, ‘130~150’: 0, ‘150~170’: 0, ‘170~200’: 0, }

for price in prices:

if price < 10:

DATAS[‘<10’] += 1

elif 10 <= price < 30:

DATAS[‘10~30’] += 1

elif 30 <= price < 50:

DATAS[‘30~50’] += 1

elif 50 <= price < 70:

DATAS[‘50~70’] += 1

elif 70 <= price < 90:

DATAS[‘70~90’] += 1

elif 90 <= price < 110:

DATAS[‘90~110’] += 1

elif 110 <= price < 130:

DATAS[‘110~130’] += 1

elif 130 <= price < 150:

DATAS[‘130~150’] += 1

elif 150 <= price < 170:

DATAS[‘150~170’] += 1

elif 170 <= price < 200:

DATAS[‘170~200’] += 1

for k, v in DATAS.items():

print(k, ‘:’, v)

def get_the_top_10(url):

top_ten = []

获取代理

ip = zhima1()[2][random.randint(0, 399)]

运行quicker动作(可以不用管)

os.system(‘“C:\Program Files\Quicker\QuickerStarter.exe” runaction:5e3abcd2-9271-47b6-8eaf-3e7c8f4935d8’)

options = webdriver.ChromeOptions()

远程调试Chrome

options.add_experimental_option(‘debuggerAddress’, ‘127.0.0.1:9222’)

options.add_argument(f’–proxy-server={ip}')

driver = webdriver.Chrome(options=options)

隐式等待

driver.implicitly_wait(3)

打开网页

driver.get(url)

点击部分文字包含’销量’的网页元素

driver.find_element(By.PARTIAL_LINK_TEXT, ‘销量’).click()

time.sleep(1)

页面滑动到最下方

driver.execute_script(‘window.scrollTo(0,document.body.scrollHeight)’)

time.sleep(1)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值