- 博客(4)
- 收藏
- 关注
RSS订阅原创 Scrapy ——环境搭配与一个简单的例子
在我刚接触爬虫的时候就已经听过Scrapy大名了，据说是一个很厉害的爬虫框架，不过那个时候沉迷于Java爬虫。现在终于要来揭开它神秘的面纱了，来一起学习一下吧欢迎关注公众号：老白和他的爬虫1.环境搭配使用Scrapy的话，我建议使用Anaconda+pycharm的环境配置，首先Anaconda为我们继承好了很多的第三方库非常方便实用，pycharm是一个非常好用的python IDE，...
2019-04-18 08:53:42
249
原创 Anaconda+pycharm配置
如果你没使用anaconda的话，你肯定经常需要去pip某个包，像我们接下来可能学习的爬虫框架scrapy，科学计算Numpy等，可以一个一个pip安装，但是有点麻烦，因此我强烈推荐各位装上Anaconda，这是一个基于Python的数据处理和科学计算平台，它已经内置了很多非常有用的第三方库，安装上Anaconda，就相当于把数十个第三方模块自动安装好了，非常好用，Anaconda安装自带Spy...
2019-04-16 08:31:23
273
原创 微博任意关键词爬虫——使用selenium模拟浏览器
使用selenium，我们很快就可以做到这一点——“在浏览器上能看到什么，我们就能采集到什么数据”，selenium可以用来模拟浏览器的行为，让代码自动操控你的浏览器，抓取数据欢迎关注公众号：老白和他的爬虫1.初识selenium简单通过一些基础操作来熟悉一下selenium，在此之前你需要下载一个谷歌驱动，我帮你下载好了，公众号回复“20190403”获取驱动及今日份代码。打开浏览器...
2019-04-03 15:29:12
4013
8
原创 学习如何存储你爬取的数据(2)
之前我写过 学习如何存储你爬取的数据 这一篇文章，学习如何使用sqlite3来读取数据库，用来操作.db文件，这种操作对比今天要学习的存取方式，略显复杂。在我们日常简单的数据爬取工作中，可能只需要把它存在excel文件里面即可，今天就来了解下如何把你爬取的数据存储在excel文件中欢迎关注公众号：老白和他的爬虫今天我就话不多说，直接跟着代码来学习吧！我帮你封装好了，你可以选择在你需要存储数...
2019-04-02 22:35:32
456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人