python 爬虫
DA1YuH
爱学习的小白!
展开
-
python爬虫——将爬取的数据进行存储
在前面我的博客中,讲了怎么爬取一些简单的数据,但是我们爬取数据的目的是利用和分析这些数据,所以今天我们来试试将这些数据存储起来。目录序言(一) 通过Excel文件进行存储(二) 通过csv文件进行存储序言在将如何将数据存储之前我们必须来了解一个爬虫的过程。爬虫分为:1.获取数据,2.处理数据,3.存储数据。在前面的博客中我们已经完成了前两个步骤,就差对数据的存储部分了。通常我们对数据的存...原创 2020-02-15 15:46:59 · 2862 阅读 · 0 评论 -
python爬虫——通过API爬取动态网站的数据
在我前面的博客中,通过利用python的requests库和BeautifulSoup库对静态网站进行爬取,但如果遇到动态网站怎么办呢?接下来我们试着通过API来对动态网站进行爬取想要的数据。目录(一) 动态网站和静态网站的区别与robots.txt(二) 爬取QQ音乐——“雨爱”的一页评论(三) 爬取QQ音乐——“雨爱”的多页评论(一) 动态网站和静态网站的区别与robots.txt在爬取...原创 2020-02-09 18:16:57 · 8204 阅读 · 4 评论