qq_42336565的博客

原创 进程，线程，协程浅谈

看了一些文章，对进程，线程，协程有了一些理解，记录下来。若有不对之处，请各位看官斧正1.多进程多个进程是并行的，每个进程都有自己的分配的内存地址，各个进程间的全局变量互不影响。多个进程对计算机而言，是需要分配多个内存，消耗量大，但是一个进程挂掉，并不会影响其他的进程。2.多线程一个进程可以有多个线程，一个进程至少有一个线程。对于单核cpu，一个进程下的线程属于并发运行，多个cpu，可以并行运行。一个进程下的多个线程的全局变量是共享的。多线程的内存分配少，消耗小，但是一个线程挂点，其他线程都会

原创 ubuntu 编写.sh文件，并定时执行

1. 打开终端， 进入准备放.sh文件的路径2 . 建立后缀名为.sh的文件3. vi打开建立的.sh文件, 编写.sh文件4. 在.sh 文件头部输入下面命令#!/bin/bash， 后编写sh文件5. 如下图6. 修改文件为下图#！ 后修改文件的解释为python7. 输入命令crontab -ectrl+x离开， 选择y， 回车...

原创 centos python2.6升级为2.7，安装pip

参考以下链接https://www.cnblogs.com/stonehe/p/7944366.htmlhttps://www.cnblogs.com/senzhe/p/5804092.htmlhttps://blog.csdn.net/u012450329/article/details/52672442https://blog.csdn.net/dream_it_life/ar...

原创 Django项目根目录下引入scrapy项目

1.在Django项目中创建scrapy项目2.Scrapy配置djangoimport os,djangoos.environ.setdefault("DJANGO_SETTINGS_MODULE", "Django_Scrapy.settings")# project_name 项目名称django.setup()(Django_Scrapy是Django的项目名),(在deb...

原创 创建python虚拟环境

1.安装virtualenv, 进入命令行pip install  virtualenv2. 如何创建虚拟环境？virtualenv venv3.如何创建指定版本的虚拟环境？virtualenv -p 对应python版本可执行文件的绝对路径 venv4.如何激活环境和取消激活环境？进入虚拟环境scripts文件夹，通过activate激活 和 deactivate取消激活...

转载 scrapy框架中源码的url的去重分析

原创 scrapy 项目的创建及介绍

原创 scrapy 在Python虚拟环境上的安装

1 在网上下下图二个包,并放在下图位置(Envs 虚拟环境所在文件夹)2 进入虚拟环境中,敲下面命令 pip install hyperlinkpip install Automatpip install incrementalpip install constantlypip install zope.interface以上安装完毕之后，再安装scrapy:  pip install scrap...

转载 python虚拟环境的安装和配置

原创 pyspider的安装及配置

1.打开命令行,进入Anaconda3文件夹2.在命令行中敲  pip install pyspider3.下载phantomjs4.查看Python路径5. 将phantomjs.exe和python.exe放在同一目录下6.  使用pyspider all命令  启动pyspider的所有组件7.  用浏览器进入8.删除项目...