![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
wumxiaozhu
学习使我快乐
展开
-
不要慌,在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题
超级简单的方法处理在pycharm中运行scrapy报错,用Anaconda安装scrapy在pycharm中运行报错的问题原创 2018-07-28 22:51:40 · 2063 阅读 · 0 评论 -
pip install scrapy报错,教你如何正确安装scrapy。
scrapy安装方法一,如果初学python,并且你的python也是使用Anaconda安装的,哪么使用Anaconda是你最快捷的办法。 1,进入Adaconda官网:https://www.anaconda.com/download/,点击下载对应版本。 2,安装完成之后在cmd命令框中输入:conda install scrapy 3,OK,scrapy安装成功。 如果想使用p...原创 2018-07-30 08:51:41 · 18362 阅读 · 6 评论 -
scrapy中Request方法中的meta参数有什么用,怎么用。
初学scrapy可能会有点蒙圈,今天和大家分享下scrapy中Requestmeta参数的用法 首先我们要知道meta是一个字典,它的主要作用是用来传递数据的,meta = {‘key1’:value},如果想在下一个函数中取出value1, 只需得到上一个函数的meta[‘key1’]即可, 因为meta是随着Request产生时传递的,下一个函数得到的Response对象中就会有meta,...原创 2018-08-02 22:12:43 · 21833 阅读 · 12 评论 -
同步与异步,阻塞与非阻塞
同步与异步 同步与异步的区别在于结果的提取者是由请求者等待得来,还是由处理者得到结果直接返回,关注的是结果的处理 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了 换句话说,就是由调用者主动等待这个调...转载 2018-08-28 14:56:47 · 158 阅读 · 0 评论 -
scrapy开启ImagePilelin
1 在settings中写入 IMAGES_STORE = ‘./images’ 开启ITEM_PIPELINES ={ ‘someproject.pipelines.ImagePipeline’ : 300,} 2 在pipelines中写入 `class ImagePipeline(ImagesPipeline): def file_path(self, re...原创 2018-09-05 18:20:32 · 235 阅读 · 0 评论 -
教你如何上传本地文件到github
教你如何上传本地文件到github1,进入个人主页后,点击右上角的+号,选择New repository 创建自己的项目2,复制自己的项目地址,后面会用到:(如下图)3,接下来,我们需要先下载Git,这里最好下载最新版本的Git,这里附上我下载的Git2.6.2的网址:https://git-scm.com/downloads,一直下一步就可以了,安装完成之后,双击打开Git Bash...原创 2018-09-17 21:00:52 · 439 阅读 · 0 评论