AI&BigData two：使用Python爬虫将爬取的内容转入Excel表格

腾阳

于 2018-04-29 13:04:13 发布

阅读量2k

点赞数 1

分类专栏：人工智能和大数据训练营实战项目文章标签：爬虫 python 写入文件Excel

本文链接：https://blog.csdn.net/weixin_41931602/article/details/80142475

版权

本文介绍了一种使用Python爬虫从网页抓取股票市场信息，并将数据整理存储到Excel表格的方法。首先，通过requests和BeautifulSoup库获取和解析HTML页面，接着提取所需内容，包括市场名称、股票名称和股票代码。最后，利用pandas的DataFrame将数据整合并保存为CSV文件。

摘要由CSDN通过智能技术生成

# -*- coding:utf-8 -*-
import requests
import pandas as pd
from bs4 import BeautifulSoup


url = 'http://quote.eastmoney.com/stocklist.html'
# 伪装成Mozilla浏览器，解决反爬虫
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 生成属性字典
headers = {'User-Agent': user_agent}
# 获取目标网站的HTML页面
response = requests.get(url, headers=headers)
# 对HTML进行解析, .content 属性可以将tag的子节点以列表的方式输出
bs = BeautifulSoup(response.text, 'html.parser')
# 寻找div标签并且匹配到相关的class标签及其属性，然后输出成列表格式
#link_ul = bs.find('div', attrs={'id': 'quotesearch'}).find_all('ul')
quotesearch = bs.find('div',attrs={'id':'quotesearch'})
stock_list=quotesearch.find_all('ul')
#print stock_list
market_list = bs.find_all('div',attrs={'class':'sltit'})
#print market_list
#定义列表名称
col_name=['市场名称','股票名称','