python爬取拼多多数据_Python---数据的爬取与存储

这几天学习了如何爬取数据及保存为csv格式;本文则是通过伊利股票股份【600887】来演示。

1.金融数据获取

通过Pandas_Datareader.data的Datareader函数来获取:

1.1数据获取

c6f107b2dca7

1.1.1库的导入:

import pandas_datareader.data as web等同于from pandas_datareader import data as web

1.1.2函数解析

web.DataReader(name,data_source,start,end)

name='股票代码.ss#沪市‘或者’股票代码.sz#深市    #这种方式运用于国内股票数据提取

name='股票代码‘  #国外上市股票数据提取

例如提取 拼多多 股票数据: name='PDD'

data_source=’数据源‘

start='’和end=''表示起止时间

你可以提取开头一段数据或者结尾一段数据,具体函数如下:

print(yili.head(i))  #i表示提取几行数据,如head(5),表示提取前5行数据

print(yili.tail(i) )   #表示提取后5行数据

或者直接print(yili())  提取你所定的区间  start='2008-1-1',end='2018-1-1' 的数据。

1.1.3print 的结果

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是一个示例代码,用于爬取智联招聘网站上的数据分析师工作岗位信息: ```python import requests from bs4 import BeautifulSoup url = 'https://fe-api.zhaopin.com/c/i/sou?start=0&pageSize=60&cityId=489&industry=10100&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=数据分析师&kt=3&_v=0.97530866&x-zp-page-request-id=8d3f7b1e6c9a4c8e9dc8a2a6bb605d4e-1626243117597-609241' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') job_list = soup.find_all('div', {'class': 'job-list'}) for job in job_list: job_name = job.find('a', {'target': '_blank', 'data-jid': True}).text.strip() job_salary = job.find('span', {'class': 'salary'}).text.strip() job_company = job.find('a', {'class': 'company-name'}).text.strip() job_location = job.find('span', {'class': 'job-area'}).text.strip() job_experience = job.find('span', {'class': 'job-exp'}).text.strip() print(job_name, job_salary, job_company, job_location, job_experience) ``` 在这个示例代码中,我们设置了筛选条件,只爬取数据分析师工作岗位的信息。同时,我们使用了 requests 库向智联招聘网站发送了一个 HTTP 请求,并设置了请求头部信息,以避免被网站识别为爬虫。然后,我们使用 BeautifulSoup 库解析了页面内容,并从中提取出了工作岗位信息。 您可以根据自己的需求修改代码中的参数和条件,以获得您需要的工作岗位信息。注意,爬取网站信息时要遵守相关法律法规和网站规定,不要过度频繁地请求网站,以免对网站造成影响。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值