python爬取网页数据保存成word_python爬取segmentfault首页文章,保存本地为word文档

代码如下:

# 从urllib库中引入request模块

from urllib import request

# 从bs4库中引入BeautifulSoup模块

from bs4 import BeautifulSoup

# 设置要爬取的网址

url = r"https://segmentfault.com/"

# 设置模拟浏览器外衣

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}

# 添加头部header,让服务器以为你是浏览器

page = request.Request(url, headers=headers)

# 请求网址,获取请求结果,解码格式为utf-8

page_info = request.urlopen(page).read().decode("utf-8")

# 使用BeautifulSoup网页解析库

soup = BeautifulSoup(page_info, "html.parser")

# 查找全部的

标签

titles = soup.find_all("h4", "news__item-title")

try:

# 在D盘创建一个名为 myfile的 word文件

#