Python中运用Pandas爬取维基百科SP500数据并保存

---

Pandas是什么？

pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。

步骤

1.引入库

代码如下：

import numpy as np
import pandas as pd

2.读入数据

代码如下：

payload=pd.read_html('https://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
first_table = payload[0]
second_table = payload[1]

df = first_table
df.head()

3.选取字段

代码如下：

Names = df['Security'].values.tolist()
CIK = df['CIK'].values.tolist()
General_industry = df['GICS Sector'].values.tolist()
Sub_industry = df['GICS Sub-Industry'].values.tolist()
Ticker = df['Symbol'].values.tolist()

4.DataFrame创建数据表

代码如下：

x=pd.DataFrame({'Name':Names,'CIK':CIK,'General_industry':General_industry, 'Sub_industry':Sub_industry, 'Ticker':Ticker})
print(x)

5.保存至Excel

代码如下：

x.to_excel("S&P500.xls",sheet_name="S&P 500 companies")

---

总结

结果如图