本文参考Monkey_D_Newdun 的文章
https://blog.csdn.net/Monkey_D_Newdun/article/details/79318629
用爬虫获取网易云音乐热门歌手评论数
运行平台:Windows 10
IDE:spyder
Python版本:3.6
浏览器:360
一、爬虫基本思路
a. 通过URL或者文件获取网页:打开网页-F12-找到需要获取的url,request header以及form data或parameters.
b. 分析要爬取的目标内容所在的位置
c. 用元素选择器快速提取(Raw) 目标内容
d. 处理提取出来的目标内容 ( 通常整理合成一个 Json)
e. 存储处理好的目标内容 (比如放到 MongoDB 之类的数据库,或者写进文件里。)