本文主要爬取演员杨幂的百度百科,用到的python库有:requests和BeautifulSoup
主要内容共分为以下两个方面:
1、 用requests爬取网页内容
2、 用BeautifulSoup提取关键信息
以下为全部代码:
import requests
from bs4 import BeautifulSoup
url="https://baike.baidu.com/item/%E6%9D%A8%E5%B9%82/149851?fr=aladdin"
r=requests.get(url)
r.encoding=r.apparent_encoding
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.title.get_text())
p=soup.find_all("dt","basicInfo-item name")
t=soup.find_all("dd","basicInfo-item value")
print(p[0].get_text(),":")
print(t[0].get_text())#中文名
print(p[1].get_text(),":")
print(t[1].get_text())#外文名
print(p[2].get_text(),":")
print(t[2].get_text())#别名
print(p[3].get_text(),":")
print(t[3].get_text())#国籍
print(p[4].get_text(),":")
print(t[4].get_text())#民族
print(p[5].get_text(),":")
print(t[5].get_text())#星座
print(p[6].get_text(),":")
print(t[6].get_text())#血型
print(p[7].get_text(),":")
print(t[7].get_text())#身高
print(p[8].get_text(),":")
print(t[8].get_text())#体重
print(p[9].get_text(),":")
print(t[9].get_text())#出生地
print(p[10].get_text(),":")
print(t[10].get_text())#出生日期
print(p[11].get_text(),":")
print(t[11].get_text())#职业
print(p[12].get_text(),":")
print(t[12].get_text())#毕业院校
print(p[13].get_text(),":")
print(t[13].get_text())#经纪公司
print(p[14].get_text(),":")
print(t[14].get_text())#代表作品
print(p[15].get_text(),":")
print(t[15].get_text())#主要成就
print(p[16].get_text(),":")
print(t[16].get_text())#唱片公司
print(p[17].get_text(),":")
print(t[17].get_text())#配偶
print(p[18].get_text(),":")
print(t[18].get_text())#女儿
print(p[19].get_text(),":")
print(t[19].get_text())#生肖
print(p[20].get_text(),":")
print(t[20].get_text())#粉丝名
运行结果为:
杨幂_百度百科
中文名 :
杨幂
外文名 :
Yang Mi,Mini
别 名 :
紫曦、幂幂、狐狸、小幂、狐小幂、大幂幂
国 籍 :
中国
民 族 :
汉族
星 座 :
处女座
血 型 :
B型
身 高 :
166.5cm(净身高)
体 重 :
45kg
出生地 :
北京市
出生日期 :
1986年9月12日
职 业 :
演员、歌手、制片人
毕业院校 :
北京电影学院
经纪公司 :
嘉行杨幂工作室
代表作品 :
宫锁心玉、三生三世十里桃花、小时代、我是证人、逆时营救、仙剑奇侠传三、亲爱的翻译官、王昭君
主要成就 :
中国电视金鹰奖最具人气女演员
上海电视节白玉兰奖最具人气女演员
休斯顿国际电影节最佳女主角
唱片公司 :
少城时代
配 偶 :
刘恺威(2014年1月8日婚礼)
女 儿 :
小糯米(2014年6月1日出生)
生 肖 :
虎
粉丝名 :
蜜蜂