爬取淘宝热卖,自动搜索jk,爬取商品名字、商家、销量、价格

爬取淘宝热卖,自动搜索jk,爬取商品名字、商家、销量、价格

使用库:

         selenium

         pymysql

         requests

        BeautifulSoup

模糊查询和精确查询

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
import pymysql
import requests
from bs4 import BeautifulSoup

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,database='taobao')
curosr=db.cursor()

url_base="https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&keyword=%E5%A5%B3%E8%A3%85&clk1=21d803760867b516c90192a1c6121a06&upsId=21d803760867b516c90192a1c6121a06"
url=url_base
headers={'user-agent':'Mozilla/5.0'}

def fun1():
    sum=0
    #打开窗口
    driver=webdriver.Chrome()
    driver.maximize_window()
    url3=requests.get(url=url_base,headers=head
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
好的,这是一个比较常见的虫任务,我可以帮你分步骤实现。 1. 首先,我们需要确定要的网站,这里以智联招聘的IT行业相关工作为例。打开网站,我们会发现它的URL是 https://sou.zhaopin.com/?jl=530&kw=IT%E4%BA%92%E8%81%94%E7%BD%91&kt=3。 2. 接下来,我们需要发送HTTP请求,获网页的HTML代码。可以使用Python的requests库实现,代码如下: ``` import requests url = 'https://sou.zhaopin.com/?jl=530&kw=IT%E4%BA%92%E8%81%94%E7%BD%91&kt=3' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) html = response.text ``` 这里我们设置了User-Agent头部,模拟了一个浏览器访问,避免被网站拦截。 3. 获HTML代码后,我们需要使用解析库解析HTML代码,获我们需要的信息。这里我们可以使用Python的BeautifulSoup库实现,代码如下: ``` from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') job_list = soup.find_all('div', {'class': 'joblist-box__item clearfix'}) for job in job_list: job_name = job.find('a', {'data-jk': True}).text company_name = job.find('div', {'class': 'company_name'}).find('a').text salary = job.find('span', {'class': 'red'}).text print('职位名称:', job_name) print('公司名称:', company_name) print('薪资:', salary) ``` 这里我们使用了find_all函数,查找所有class为'joblist-box__item clearfix'的div标签,然后依次获职位名称、公司名称和薪资。 4. 最后,我们可以将获的数据保存到CSV文件中,方便后续分析和处理。代码如下: ``` import csv with open('jobs.csv', mode='w', encoding='utf-8', newline='') as f: writer = csv.writer(f) writer.writerow(['职位名称', '公司名称', '薪资']) for job in job_list: job_name = job.find('a', {'data-jk': True}).text company_name = job.find('div', {'class': 'company_name'}).find('a').text salary = job.find('span', {'class': 'red'}).text writer.writerow([job_name, company_name, salary]) ``` 这里我们使用了Python内置的CSV库,将数据按行写入CSV文件中。 这样,我们就完成了对智联招聘IT行业相关工作的虫任务。当然,实际的虫任务可能涉及更多的数据处理和异常处理,需要根据具体情况进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值