【爬虫]python数据爬虫——数据分析师岗位基本信息爬取(二)运用openpyxl将爬取信息存入excel表中

另一种方法,移步:爬取信息存入excel表

他使用的是lxml,而下面使用是openpyxl,方法没有好坏,掌握多了,才能灵活运用。在此再次感谢该博主。

```python
from requests_html import HTMLSession
from openpyxl import Workbook
import time

wb=Workbook()
ws=wb.active

session = HTMLSession()
ws.append(['职位','公司名','工作地点','薪资'])
def my_url(m):
    while m>0:
        p=m-(m-1)
        url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,{}.html'.format(p)
        r = session.get(url)

        for n in range(4,54):
            workname = r.html.xpath(('//*[@id="resultList"]/div[{}]/p/span/a/@title').format(n))[0]##职位
            company=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[1]/a/@title').format(n))[0]#公司名
            address=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[2]/text()').format(n))[0]#工作地点

            money=r.html.xpath(('//*[@id="resultList"]/div[{}]/span[3]/text()').format(n))#薪资
            if len(money)==0:
                money=''
            else:
                money = r.html.xpath(('//*[@id="resultList"]/div[{}]/span[3]/text()').format(n))[0]  # 薪资
            print("第(",(n-3),")条:",workname,company,address,money)
            ws.append([workname,company,address,money])
            wb.save('3python数据爬虫——数据分析师岗位基本信息爬取.xlsx')
            time.sleep(1)  # 时间间隔。防止被封IP
        p=p+1
        m=m-1
        print(m)
        print(p)

    else:
        return



if __name__=='__main__':
    # num=int(input('请输入要爬取的页数:'))
    # my_url(num)
    my_url(2)







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值