#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装

鄙人作为一个Android开发者,经常想私下做一些小项目,需要一些后台的配合,自己的项目用servlet和sql语句也能凑合,但缺少后台数据就比较难办了(假数据看起来很违和,而且没有实际意义);听闻python可以做网络爬虫爬取数据,于是趁着这段时间开发任务不重,通过python实现了爬取网站数据的功能。

Python简介:

请自行百度...

Python安装:

1.先去官网下载python,根据自己的需要选择对应的版本:网址

2.解压下载下来的压缩包,然后根据提示进行安装。

3.设置环境变量,与java等环境变量类型,如图:

4.做完这些之后,python就算配置完成了,可以在控制行检测一下是否安装成功:

到此python就算配置成功了。

python编译工具:

python可以直接在命令行中进行编译,但是作为jetbrains的粉丝,当然不能错过jetbrains发布的python编译工作---PyCharm啦!

至此python的基本编译环境已经配置完成了,接下来需要导入一些编写爬虫程序的库了。

BeautifulSoup

在我看来,所谓爬虫就是将html抓取下来,然后分析其页面上的数据,python自带了html解析器--html parser,个人感觉用起来比较繁琐,因此推荐大家使用BeautifulSoup,功能比较强大,而且使用起来也比较方便。python安装第三方库还是比较方便的,有两种安装方式:

1.可以直接在命令行输入:pip install beautifulsoup4(python 2.0+用户)或者pip3 install beautifulsoup4(python 3.0+用户),之后等待安装完成即可。


2.去官网下载安装包,在命令行中先定位到安装包作为文件夹,执行python setup.py install即可

xlwt

xlwt是一款导出Excel表格的第三方python库,安装它是为了将获得的数据导出,方便查看,安装方法与上面类似。

好了,准备工作就都做好了,接下来,就该上代码了!


Python参考资料:

Python 基础教程 (看原文文档当然是最好,不过这个也不错,可以当字典使用)

玩蛇网(顾名思义)


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值