Win/Linux/mac下python爬虫所需安装的库

Window环境下:

由于请求库:urllib/re/requests

 urllib/re是python默认自带的库,这里不演示了。

1.安装requests库。

pip3 install requests

检验   import requests

          requests.get('http://www.baidu.com')

2.安装selenium

pip3 install selenium

2.1.安装chromedriver

网址:https://npm.taobao.org/

把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\  执行下面命令弹出chrom窗口就成功了。

常用用的方法: driver.get(‘网址’) 通过chrom访问这些网址  driver.page_source 获取网页源代码。

2.2安装无界面浏览器phantomjs ,这样就可以不用总打开浏览器了。

下载网址:http://phantomjs.org/

下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\(其实这个路径可以随意放,只有配置环境变量成功就行),把bin目录的路径添加到PATH变量,将该路径复制到path变量最后就行。

3.lxml

打开CMD

pip3 install lxml

或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install whl的路径

4.

beautifulsoup

打开CMD,需要先安装好lxml

pip3 install beautifulsoup4

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

5.

pyquery(类似jquery语法)

打开CMD

pip3 install pyquery

验证安装结果

 from pyquery import PyQuery as pq
>>> doc = pq('<html>hello</html>
result=doc('html').text()
>>> result
'hello'

6. 存储库

 pymysql(操作MySQL,关系型数据库)

安装:

pip3 install pymysql 

验证如下:

7.

pymongo(操作MongoDB,key-value)

安装

pip3 install pymongo

这里很容易打错,看清格式(使用前记得开启MongoDB)。

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['newtestdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})

8.

edis(分布式爬虫,维护爬取队列)

安装:

pip3 install redis (使用前记得开启redis)

9.

flask(WEB库)

pip3 install flask

一般导入成功了,就是成功了。不演示了。

10.

Django(分布式爬虫维护系统)

pip3 install django

11.

4.3 jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)

pip3 install jupyter

 验证:

打开CMD

jupyter notebook

之后就可以在网页直接创建记事本,代码块和Markdown块

 

Linux/Mac环境下:

pip install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter

 

完!

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值