twitter 爬虫学习记录

学习数据获取的时候，看了很多的帖子，但是自己还未成功，现在根据师姐的指导，记录下自己的学习过程，避免忘记。

1.在Twitter上新建应用

网址：https://apps.twitter.com/app/new

创建好之后的网址（记录下，自己总是创建完就找不到了）：https://apps.twitter.com/app/15264546

创建好了就可以获取应用的信息，包括Consumer key和Consumer secret。并generate access token，将这四个数据保存下来。

根据师姐的建议，依据她的博客来复现一下twitter爬虫过程。
————

2.Twitter本地项目的搭建

接下来可以借助twitter api 进行twitter 抓取，现有的twitter api的python版本很多，这里主要介绍tweepy 以及python-twitter。

在cmd中，通过pip install tweepy/python-twitter的命令，进行库的安装。
（如果电脑上之前装过，但是版本过早，可以先pip uninstall **在重新安装）
代码片段：

import twitter
import optparse
import sys


def print_safe(string):
    """
    Format a string for safe printing
    """
    return string.encode('cp437', 'xmlcharrefreplace')


def print_tweet(tweet):
    """
    Format and print `tweet`.
    """
    print("@" + print_safe(tweet.GetUser().GetScreenName()) + \
    ": " + print_safe(tweet.GetText()))


def search(search_term):
    """
    Print recent tweets containing `search_term`.
    """
    api = twitter.Api()
    tweets = api.GetSearch(search_term)
    for tweet in tweets:
        print_tweet(tweet)


def trending_topics():
    """
    Print the currently trending topics.
    """
    api = twitter.Api()
    trending_topics = api.GetTrendsCurrent()
    for topic in trending_topics:
        print
        print_safe(topic.name)


def user_tweets(username):
    """
    Print recent tweets by `username`.
    """
    api = twitter.Api()
    user_tweets = api.GetUserTimeline(screen_name=username)
    for tweet in user_tweets:
        print_tweet(tweet)


def trending_tweets():
    """
    Print tweets for all the trending topics.
    """
    api = twitter.Api()

    trending_topics = api.GetTrendsCurrent()
    tweets = []
    # To add some variety, let's round-robin through the trending
    # topics, displaying a tweet from each until we run out of tweets.
    for topic in trending_topics:
        tweets.append((topic, api.GetSearch(topic.name)))

    while True:
        for topic, topic_tweets in tweets:
            if topic_tweets:
                print_tweet(topic_tweets.pop())
            else:
                return


def main(args):
    parser = optparse.OptionParser("""Usage: %prog [-s <search term> | -t | -u <username>]""")

    parser.add_option("-s", "--search",
                      type="string",
                      action="store",
                      dest="search_term",
                      default=None,
                      help="Display tweets containing a particular string.")
    parser.add_option("-t", "--trending-topics",
                      action="store_true",
                      dest="trending_topics",
                      default=False,
                      help="Display the trending topics.")
    parser.add_option("-u", "--user",
                      type="string",
                      action="store",
                      dest="username",
                      default=None,
                      help="Display tweets for a particular public user.")
    parser.add_option("-w", "--trending-tweets",
                      action="store_true",
                      dest="trending_tweets",
                      default=None,
                      help="Display the tweets from trending topics.")

    (opts, args) = parser.parse_args(args)

    if opts.search_term:
        search(opts.search_term)
    elif opts.trending_topics:
        trending_topics()
    elif opts.username:
        user_tweets(opts.username)
    elif opts.trending_tweets:
        trending_tweets()


if __name__ == "__main__":
    main(sys.argv[1:])

3.代码学习

(1)optparse模块的使用
optparse模块主要用来为脚本传递命令参数，采用预先定义好的选项来解析命令行参数。
首先需要引入optparser模块，然后执行初始化，实例化一个OptionParser对象(可以带参，也可以不带参数)，再为命令行添加选项，示例：

from optparse import OptionParser  
usage="show something usefull  
-- for example: how to use this program"  
parser = OptionParser(usage) #带参的话会把参数变量的内容作为帮助信息输出  
parser.add_option("-f","--file",dest="filename",help="read picture from File",metavar="FILE",action = "store",type="string")  
parser.add_option("-s","--save",dest="save_mold",help="save image to file or not",default = True)  
(options,args)=parser.parse_args()  
print options.filename  
print options.save_mold 

各个参数的含义：

• dest：用于保存输入的临时变量，其值通过options的属性进行访问，存储的内容是-f或 –file之后输入的参数
• type: 用于检查命令行参数传入的参数的数据类型是否符合要求，有string，int，float等类型
• action: 用于指导程序在遇到命令行参数时候该如何处理，有三种值可选： store,store_false和store_true,默认值是store
• store：读取参数，如果参数类型符合type的要求，则将参数值传递给dest变量，作为options的一个属性供使用。
• store_true/store_false: 一般作为一个标记使用，分别设置dest变量的值为True和False
• metavar:占位字符串，用于在输出帮助信息时，代替当前命令选项的附加参数的值进行输出，只在帮助信息里有用，注意其和default的区别