Python初学者遇到的问题及解决方法

用Python开发爬虫程序初学者遇到的问题及解决方法

快速掌握python网络爬虫

爬虫的关键点及问题解决：

核心1：
爬虫开发环境准备：下载安装python3的最新版本、下载安装开发工具pycharm；

下载相关模块并安装，打开cmd 进入python路径下，运行命令：pip install 所需模块

核心2：
爬虫程序开发，使用模拟浏览器功能，需安装相关浏览器和驱动，支持火狐、谷歌、IE等，浏览器驱动需单独下载安装，并添加到环境变量
path里面；注意浏览器驱动和版本必须对应，否则爬虫程序运行会报错。对应版本信息登录驱动官网查询。

核心3：

确定爬虫的网页是动态还是静态页面，两者使用的方法不一样，否则爬不到内容。

核心4：

爬虫元素的定位，可以下载谷歌插件xpath 安装到谷歌浏览器，利用谷歌浏览器，检查功能，查看页面元素，找到相关信息，点击右键选择
复制到xpath，复制路径

核心5：输出到文件，文件输出的方法很多，可以选择简单的用，定义输出列表、创建文件 、写入列表

初学者遇到的问题基本就这几点，更复杂的内容今后再陆续补充。

1