python 爬虫的库的搭建(beautifulsoup4,urllib库的搭建）

环境：python2.7 pycharm5

一. beautifulsoup4第一种方法

**注意**：我这里有两个python，一个在c:\python27另外一个在c:\usesr；c:\python27的这个是经常用的，里面有setuptools,另外一个没有这个库。
         而打开cmd默认的是在c:\usesr里面进行的，如果直接输入python,然后再输入setup.py instal，会出现SyntaxError: invalid syntax提示。
         所以要先cd c:\usesr,然后再输入python。

1. 在官网上面下载包官方链接
2. 将文件解压到c:python27中，先输入cd c:\usesr，然后输入python setup.py install
3. 输入python，再输入再输入help(‘modules’)可以查看你当前python拥有的所有模块,如下：
   再输入 import bs4，没有什么反应就可以了。

beautifulsoup4的第二种方法

①同样进行上面第二种方法后,将BeautifulSoup4文件夹中的bs4文件夹拷贝到python安装目录下的lib中

②将python安装目录下的Tools/scripts/2to3.py文件也剪切到python安装目录下的lib中

③cmd中cd到lib目录，然后运行python 2to3.py bs4 -w即可

urllib

发现import urllib.request报错no module named request，原因是urllib.request这句语法是python 3.xx的，因而修改为python 2.x的语法即可，下面是python2.x 和python3.x 在urllib模块使用的一些不同对比：

借鉴：https://blog.csdn.net/j163you/article/details/90375466?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

https://blog.csdn.net/Bibabu135766/article/details/81662981