利用Python在Windows下爬京东金融的导航数据
1、安装beautifulsoup。下载路径:https://pypi.org/project/beautifulsoup4/#description
将下载的安装包解压到Python的本地安装目录。我这里的目录是:D:\Python36
然后通过cmd 进入。如下图所示
接着输入安装命令:setup.py install
安装完毕之后通过命令:from bs4 import BeautifulSoup。如果该命令没有报错证明安装是没有问题的
2、编写获取导航标签数据的脚本,脚本如下:
# 在urllib 库里面,查找Python的request模块,只导入一个urlopen函数
from urllib.request import urlopen
# 导入我们刚才安装的BeautifulSoup对象
from bs4 import BeautifulSoup
html = urlopen('http://jr.jd.com') # 打开url,获取HTML内容
# 把html内容传到BeautifulSoup对象
bs_obj = BeautifulSoup(html.read(), 'html.parser')
# 找到所有class="nav-item-primary"的a标签
text_list = bs_obj.find_all("a", "nav-item-primary")
for text in text_list:
print(text.get_text()) # 打印标签的文本
html.close() # 关闭文件
3、将第2步的脚本保存为get_data.py
4、执行上述脚本。显示如下图的效果