使用第三方软件爬取微博关键字

使用软件（集搜客）

• 这是一个非常友好的爬虫软件
• 使用方法

1. 下载后页面如图所示（需要进行账户绑定）
   
2. 进入微博采集工具箱，官网里面直观看到
   
3. 按网页提示进行操作，这样你会跳到爬虫界面
   

• 建议每半个月为时间戳爬取一次
• 时间可以随意设计，但是注意一点，你的网一定要连续，不能断，然后你的电脑会一直在跑，结束后，你进行打包数据下载，不过数据是xlsx的类型，你可以通过python代码进行解析

使用python代码进行解决

• 目的:将一些人的博文单元格另存为txt文件，有的单元格是空的，我们可以替换这这些单元格，比如，向空单元格填入无有效数据等，这样有一个缺点就是数据量有点大，导致复制粘贴等效率低下

from openpyxl import load_workbook
#打开相应文档
inwb = load_workbook("06.xlsx")
#选择相应的表名
sheet = inwb.get_sheet_by_name('sheet1')
list_sheet_column_C = []
# 将数据存储
for i in sheet["B"]:
    list_sheet_column_C.append(i.value)
    print(i.value)
    print(i)
print(len(list_sheet_column_C))
a = 1
#将数据进行写入txt文档
for i in range(25460):
    c = a + 10434
    if list_sheet_column_C[c] == None:
        list_sheet_column_C[c] = "无有效内容"
# txt文档是没有办法写入none，并且这种的数据一般是视频或者全图片,我们选择直接让它无有效内容
    b = "/home/lsgo16/PycharmProjects/untitled1/2012-2013year/{0}.txt".format(a)
    with open(b,"w",encoding="utf-8") as f:
            # if list_sheet_column_C[a] == :
            #     list_sheet_column_C[a] == ""
        f.write(list_sheet_column_C[c])
        print("{0}保存成功".format(a))
        a = a + 1

• 整体框架