python爬取推特图片_Python爬取Twitter特定主题的tweets并保存到csv中

本教程指导如何申请Twitter开发者账号,并使用Python爬虫抓取‘2020Election’相关推文。通过OAuth1认证,设置查询参数,每次获取最多100条数据,利用max_id循环获取历史推文,最后将数据保存到CSV文件。
摘要由CSDN通过智能技术生成

Step 0. 去Twitter development申请开发者账号,描述一下你要做的项目,想用twitter的数据干什么blabla的,网上有教程一步一步来就可以,大概三四天就会通过。

Step 1.

爬取2020election相关主题的tweet,七天之内的数据。

定义两个函数

get_7days_tweets() 爬数据

convert_tweets_to_csv()将爬到的数据存储到csv中。

因为每次请求twitter数据最多能有100条tweets,所以需要写一个循环,用max_id来获取比这个id更老的tweets。

# Replace the values below with yours

CONSUMER_KEY = ''

CONSUMER_SECRET = ''

ACCESS_TOKEN = ''

ACCESS_SECRET = ''

my_auth = requests_oauthlib.OAuth1(CONSUMER_KEY, CONSUMER_SECRET,ACCESS_TOKEN, ACCESS_SECRET)

def get_7days_tweets(max_id = 0):

# 30days url

# url = 'https://api.twitter.com/1.1/tweets/search/30day/tweets.json'

url = 'https://api.twitter.com/1.1/search/tweets.json'

query_data = [('q',&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值