利用Anaconda + PyCharm写简单爬虫的前期预备工作

Anaconda安装

注:千万别和Python同时下载,不然用PyCharm时,真的会疯掉的,你试想一下,你把库包下载好了,但到了PyCharm中一直报错,想想就崩溃。反正我弄了很久还是没能找出解决的办法,你可以试试看!

下载Anaconda软件对Python进行相关库的下载

Anaconda下载网址:https://www.anaconda.com/download/

Anaconda安装教程可参考该网址:http://www.scrapyd.cn/doc/124.html

或者按照下面操作,除了其中一步需要勾选,其他保持默认:



这一步需要自己勾选,如图中勾选





Pycharm安装

Pycharm下载网址:https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC

安装教程可以参考该网址:https://blog.csdn.net/qq_29883591/article/details/52664478

可能出现的界面会有所不同,一般都是选择默认的选项进行操作


下载Chrome浏览器以及其驱动

下载Chrome浏览器网址:https://www.google.cn/chrome/

下载Chrome驱动网址:https://chromedriver.storage.googleapis.com/index.html?path=2.40/

(这是支持Chrome v66-68版本的驱动,如是其他Chrome版本,可在这个网址下查看对应的文件: https://sites.google.com/a/chromium.org/chromedriver/downloads,然后在这个网址里面选择相对应的文件再选择相对应的系统下载:https://chromedriver.storage.googleapis.com/index.html)

下载好的驱动是.exe文件,将它放在某个文件中(随你开心),如果你不想以后敲代码都需要填写驱动所在路径,你可以将驱动所在路径添加到系统环境变量中。

方法:

    右键此电脑(我的电脑),选择属性

步骤如下:



BeautifulSoup

         BeautifulSoup的特点,它是一个用于从网页抓取数据的工具箱。由于是工具箱,所以写起来也比较简单,主要就是学会用它里面的方法。适合新手学习爬虫,因为爬虫的整体框架需要你自己写出来,会让你更加清楚地学习爬虫以及掌握爬虫的框架。

 用Anaconda下载

    打开Anaconda软件,如下选择。


先查看是否已经下载了,如下图:


若没有下载,则按下图操作去下载:


如果显示了,那么勾选中,然后点击右下方的“Apply”按钮,等待下载完毕后,可能会弹出现依赖关系的选择,点击该窗口中的“Applp”,然后等待进度条消失后,就OK了。记得要连网哦!!

selenium

         Selenium是用于将爬虫放到浏览器中,让之模拟人自动操作浏览器。

        下载依然使用Anaconda来下载,跟下载BeautifulSoup一样。

Anaconda很强大,因为你想要下载库包时,只需要简单的操作,不需要去考虑什么依赖、环境变量的问题,就可以得到你想要的库包,小编曾经被环境变量的问题蹂躏到想砸电脑。所以强烈推荐新手用Anaconda + PyCharm来学习Python。

由于小编也是初学者,若以上讲解有误的地方,欢迎大家指正,谢谢~

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值