最近开始思考毕业论文课题,想从网上爬取一点POI数据看看做空间数据分析。
已有环境:windows10系统,python3.7, pycharm。
还需要安装爬虫常用的第三方库。
- requests库安装:直接命令行: pip install requests, 出现以下报错:
但是第二次重新执行命令行解决,原因不明。。。。 - pandas库安装:直接执行pip install pandas 和再pycharm 装都失败了。
之后看到这个博客(https://blog.csdn.net/LEE18254290736/article/details/88343568)说切换成清华源就可以了,果然很管用,命令如下:
pip install XXX -i https://pypi.tuna.tsinghua.edu.cn/simple
因为不是直接在项目环境中安装的pandas,打开Pycharm之后还是import失败,参照这位博主的文章:https://blog.csdn.net/weixin_41287260/article/details/83957731。找到原因是还需要在setting-project interpreter 中把解释器切换到全局的python环境中。
但是还要注意,之前通过pycharm安装的包不会出现在全局的环境中,所以还要在已安装包列表中检查是否所有需要的包都有了。
3.beautifulsoup库安装:
python3中直接安装 pip install beautifulsoup 会失败,应使用pip install bs4, 用法为:from bs4 import beautifulsoup。