![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
嘘……一只bug
逆风的方向更适合飞翔,我不怕千万人阻挡只怕自己投降
——五月天《倔强》
展开
-
Windows环境下Pycharm进行Scrapy框架的安装
什么是scrapy? 爬虫中封装好的一个明星框架。功能:高性能的持久化存储,异步的数据下载,高性能的数据解析 环境的安装 mac或者linux: pip install scrapy windows环境下安装 比较繁琐一点,需要先安装几个scrapy依赖的库 先安装wheel库 pip install wheel 2.下载twisted库,下载地址为 https://www.lfd.uci.edu/~gohlke/pythonlibs/ #这是一个非常实用的python包网站,里面的py原创 2021-01-26 10:42:30 · 402 阅读 · 2 评论 -
爬虫过程中获取网页标签内的中文乱码的解决方法
第一种方法 手动设置响应数据的编码格式 response=requests.get() response.encoding='utf-8' 第二种方法 如果第一种方法还是不能解决问题的话,这个是通用处理中文乱码的解决方案 name-tree.xpath()[0] name.encode('iso-8859-1').decode('gbk') ...原创 2021-01-23 22:27:06 · 287 阅读 · 0 评论