本文通过一种简单的方式来抓取华为终端官方微博的内容信息。首先抓取登录微博的cookie,然后使用cookie来登录微博。
具体的代码如下所示:
# -*- coding: utf-8 -*-
"""
Created on Sun Apr 16 14:16:32 2017
@author: zch
"""
import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
#放入cookie信息
cook = {"Cookie":"_T_WM=..."}
#爬取华为终端官方微博的内容
url = "https://weibo.cn/huaweidevice"
html = requests.get(url,cookies=cook).content
#使用Beautiful来解析网页内容。
soup =BeautifulSoup(html,"html.parser")
r = soup.findAll('span',attrs={"class" : "ctt"})
for e in r:
print(e.text)
运行结果如下所示:
当然,上面的代码一次只能实现爬取少量的内容信息,还很简陋。后面要想办法解决多页连续爬取和自动分类存储的问题。