Python自学第四天：网站换页，数据解析写入Excel（实例代码）

import requests
from lxml import etree
import xlwt

为了方便翻页将网址代码分成两部分

urlstart = ‘http://www.ceae.org.cn/nyzk/list_4_’
urlend = ‘.html’

#创建一个workbook设置编码
workbook = xlwt.Workbook(encoding = ‘gb2312’)
#创建一个worksheet
worksheet = workbook.add_sheet(‘My Worksheet’)

#定义个空list
string = []

爬取数据总页数11

for n in range(1, 12):
# 组合页面URL
URL = urlstart + str(n) + urlend
headers = {‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’}
res = requests.get(URL,headers = headers)

#设置内容配置
res.encoding = 'gb2312'
html = res.content.decode('gb2312')
e_html = etree.HTML(html)

#点位获取内容
title = e_html.xpath(' //div[@class="list-all"]/ul/li/a/text()')
#list组合内容
string = string+title

#写入Excel
#自定义列数
i = 0

#worksheet.write(行数,列数,内容)

for j in range(len(string)):
worksheet.write(j,i,string[j])

#保存
workbook.save(‘Desktop/市场拓展/Excel_test.xls’)

注意事项：
一、代码复制后，需要把中文的‘’改为英文格式
二、注意代码对齐

其他点：
1、多行代码注释快捷键：Ctrl+/
2、获取的内容是list列表，多页面内容相加的时候，不要用.append，而是直接相加，因为用.append，会有多个[]，最后显示是string的长度是11，不是151
3、严格要对齐页面