Python知识总结
提供遇到的python各种问题,以及各种小技巧
suntx”
一位编程爱好者
展开
-
python-django rest风格接口
首先在django虚拟环境下安装djangorestframework pip install djangorestframework 在settings添加app 'rest_framework', 创建urls.py urlpatterns=[ path('recommend/',hello.as_view(),name='hello'), ] ...原创 2019-04-01 17:32:29 · 195 阅读 · 0 评论 -
python多线程爬虫案例之爬取麦田
import threading import requests from time import sleep from bs4 import BeautifulSoup import csv from queue import Queue # 封装一个多线程爬虫类 class CrawlThread(threading.Thread): def __init__(self,page_...原创 2019-03-25 19:47:27 · 548 阅读 · 0 评论 -
python多线程安全问题(两种解决方案)
import threading #如果多个线程同时访问同一个资源,就会造成线程得不安全 money = 0 #定义一个函数用于存钱 def addMoney(): global money for i in range(1000000): money+=1 print(money) #线程冲突情况 def conflict(): #有五个线...原创 2019-03-25 19:44:39 · 1901 阅读 · 0 评论 -
python爬虫框架之Scrapy之分布式 + selenium爬取蘑菇街
首先创建项目 进入项目文件夹下用cmd scrapy startproject Mogu 打开项目创建app scrapy genspider dushu dushu.com 修改settings.py # -*- coding: utf-8 -*- # Scrapy settings for Mogu project # # For simplicity, this file...原创 2019-03-25 19:11:37 · 892 阅读 · 2 评论 -
python爬虫框架之Scrapy之分布式爬取读书网
首先创建项目 进入项目文件夹下用cmd scrapy startproject DuShu 打开项目创建app scrapy genspider -t crawl dushu dushu.com 修改settings.py USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH...原创 2019-03-23 16:18:14 · 464 阅读 · 0 评论 -
python爬虫框架之Scrapy分布式的使用
分布式使用 首先必须安装scrapy_redis组件 pip install scrapy_redis 1、scrapy和scrapy_redis的区别 scrapy是一个通用的爬虫框架,不支持分布式 scrapy_redis就是为实现scrapy的分布式而诞生的,它里面提功了redis的组件,通过这些redis组件,就可以实现分布式 2、...原创 2019-03-21 21:02:45 · 335 阅读 · 0 评论 -
python爬虫框架之Scrapy之分页爬取电影天堂
首先创建项目 进入项目文件夹下用cmd scrapy startproject dytt 打开项目创建app scrapy genspider dy dytt8.net 修改settings.py USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gec...原创 2019-03-21 20:14:38 · 1421 阅读 · 0 评论 -
python爬虫框架之Scrapy
Scrapy 是一个爬虫框架,提取结构性的数据。其可以应用在数据挖掘,信息处理等方面。提供了许多的爬虫的基类,帮我们更简便使用爬虫。基于Twisted 准备步骤 首先安装依赖库Twisted 在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twisted pip instal...原创 2019-03-21 19:57:49 · 195 阅读 · 0 评论 -
uwsgi + python + django 部署项目
首先需要把项目的的环境导出来,在win项目环境执行代码 pip freeze > requirements.txt 然后进入云服务器进入虚拟环境下载你导入的环境 pip install -r requirements.txt 在云服务器的虚拟环境下安装uwsi pip install uwsgi 开始配置nginx的conf文件(在项目里创建一个xxx.conf的配置文件)...原创 2019-03-17 19:44:47 · 229 阅读 · 5 评论 -
uwsgi + python + flask 部署项目
首先需要把项目的的环境导出来,在win项目环境执行代码 pip freeze > requirements.txt 然后进入云服务器进入虚拟环境下载你导入的环境 pip install -r requirements.txt 在云服务器的虚拟环境下安装uwsi pip install uwsgi 开始配置nginx的conf文件(在项目里创建一个xxx.conf的配置...原创 2019-03-17 19:36:55 · 1090 阅读 · 1 评论 -
Ubuntu创建python虚拟环境
首先输入代码 pip install virtualenvwrapper 打开文件: .bashrc 文件在文件的后面添加:() export WORKON_HOME=$HOME/virtualenvs ----》保存虚拟环境的目录 export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3.6 ---》创建虚拟环境使用的python的版本 ...原创 2019-03-17 16:04:39 · 1484 阅读 · 1 评论