python爬虫
Noiccy
记录学习过程、学习心得;
欢迎交流,欢迎指导
展开
-
Python 爬虫:urllib.request
urllib.request.urlopen(url) :网络请求 urllib.parse.quote(url, safe=string.printable):将字符串转化成python解释器可以看懂的ascii形式 urllib.parse.urlencode(dict) :将字典转化成URL中的参数形式 import urllib.request def load(): ...原创 2019-02-28 22:27:41 · 789 阅读 · 0 评论 -
Python爬虫:基础知识
http发送请求的方式 1、get请求 可带去参数给服务器,服务器返回完整的数据给我们 弊端:参数是明文,长度有限制 2、post请求 数据体没有限制 上传文件加密 服务器返回完整的数据给我们 3、put 4、delete 5、head 请求头信息: Accept:文件格式 Accept-Encoding:编码格式 Connection:长链接keep-alive Cookie:验证...原创 2019-02-28 22:30:55 · 328 阅读 · 0 评论 -
[Mac] scrapy: command not found
Scrapy安装 一、终端输入:pip3 install scrapy 注意:mac中同时存在python2和python3,给python3安装scrapy需要使用pip3 二、Pycharm-- Preferences--Project:Pycharm--Project Interpreter 中搜索scrapy安装 但是在终端输入scrapy,提示:-bash: scrapy:...原创 2019-03-27 21:58:14 · 5471 阅读 · 2 评论