前几天有位朋友向我求助,想让我写个爬虫帮他爬取基金的数据。乐于助人的我怎么会袖手旁观呢?
首先捋一捋思路:获取网页→获取一条数据→获取全部数据→把数据保存为文件。有了思路就开干喽~朋友需要获取的数据来源于天天基金网的基金排行页,先来观察一下它的结构。每一个基金都在一行,翻页可获取下一页基金。
获取数据
先试试能不能用requests库直接获取数据吧。
emmm。。。看来是编码不对,改一下编码试试。在浏览器按F12查看一下网页是什么编码的。
换一个编码后就好了。接下来获取一条数据,观
前几天有位朋友向我求助,想让我写个爬虫帮他爬取基金的数据。乐于助人的我怎么会袖手旁观呢?
首先捋一捋思路:获取网页→获取一条数据→获取全部数据→把数据保存为文件。有了思路就开干喽~朋友需要获取的数据来源于天天基金网的基金排行页,先来观察一下它的结构。每一个基金都在一行,翻页可获取下一页基金。
获取数据
先试试能不能用requests库直接获取数据吧。
emmm。。。看来是编码不对,改一下编码试试。在浏览器按F12查看一下网页是什么编码的。
换一个编码后就好了。接下来获取一条数据,观