Python知识总结
关注
分享
扫一扫
提供遇到的python各种问题，以及各种小技巧
suntx”
一位编程爱好者
展开
-
python-django rest风格接口
首先在django虚拟环境下安装djangorestframeworkpip install djangorestframework在settings添加app'rest_framework',创建urls.pyurlpatterns=[ path('recommend/',hello.as_view(),name='hello')， ]...原创 2019-04-01 17:32:29 · 217 阅读 · 0 评论 -
python多线程爬虫案例之爬取麦田
import threadingimport requestsfrom time import sleepfrom bs4 import BeautifulSoupimport csvfrom queue import Queue# 封装一个多线程爬虫类class CrawlThread(threading.Thread): def __init__(self,page_...原创 2019-03-25 19:47:27 · 566 阅读 · 0 评论 -
python多线程安全问题（两种解决方案）
import threading#如果多个线程同时访问同一个资源，就会造成线程得不安全money = 0#定义一个函数用于存钱def addMoney(): global money for i in range(1000000): money+=1 print(money)#线程冲突情况def conflict(): #有五个线...原创 2019-03-25 19:44:39 · 1949 阅读 · 0 评论 -
python爬虫框架之Scrapy之分布式 + selenium爬取蘑菇街
首先创建项目进入项目文件夹下用cmdscrapy startproject Mogu打开项目创建appscrapy genspider dushu dushu.com修改settings.py# -*- coding: utf-8 -*-# Scrapy settings for Mogu project## For simplicity, this file...原创 2019-03-25 19:11:37 · 941 阅读 · 2 评论 -
python爬虫框架之Scrapy之分布式爬取读书网
首先创建项目进入项目文件夹下用cmdscrapy startproject DuShu打开项目创建appscrapy genspider -t crawl dushu dushu.com修改settings.pyUSER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KH...原创 2019-03-23 16:18:14 · 502 阅读 · 0 评论 -
python爬虫框架之Scrapy分布式的使用
分布式使用 首先必须安装scrapy_redis组件pip install scrapy_redis1、scrapy和scrapy_redis的区别 scrapy是一个通用的爬虫框架，不支持分布式 scrapy_redis就是为实现scrapy的分布式而诞生的，它里面提功了redis的组件，通过这些redis组件，就可以实现分布式2、...原创 2019-03-21 21:02:45 · 379 阅读 · 0 评论 -
python爬虫框架之Scrapy之分页爬取电影天堂
首先创建项目进入项目文件夹下用cmdscrapy startproject dytt打开项目创建appscrapy genspider dy dytt8.net修改settings.pyUSER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gec...原创 2019-03-21 20:14:38 · 1476 阅读 · 0 评论 -
python爬虫框架之Scrapy
Scrapy是一个爬虫框架，提取结构性的数据。其可以应用在数据挖掘，信息处理等方面。提供了许多的爬虫的基类，帮我们更简便使用爬虫。基于Twisted准备步骤首先安装依赖库Twisted在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twistedpip instal...原创 2019-03-21 19:57:49 · 209 阅读 · 0 评论 -
uwsgi + python + django 部署项目
首先需要把项目的的环境导出来，在win项目环境执行代码pip freeze > requirements.txt然后进入云服务器进入虚拟环境下载你导入的环境pip install -r requirements.txt在云服务器的虚拟环境下安装uwsipip install uwsgi开始配置nginx的conf文件（在项目里创建一个xxx.conf的配置文件）...原创 2019-03-17 19:44:47 · 247 阅读 · 5 评论 -
uwsgi + python + flask 部署项目
首先需要把项目的的环境导出来，在win项目环境执行代码pip freeze > requirements.txt然后进入云服务器进入虚拟环境下载你导入的环境pip install -r requirements.txt在云服务器的虚拟环境下安装uwsipip install uwsgi开始配置nginx的conf文件（在项目里创建一个xxx.conf的配置...原创 2019-03-17 19:36:55 · 1130 阅读 · 1 评论 -
Ubuntu创建python虚拟环境
首先输入代码pip install virtualenvwrapper打开文件： .bashrc 文件在文件的后面添加：（）export WORKON_HOME=$HOME/virtualenvs ----》保存虚拟环境的目录export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3.6 ---》创建虚拟环境使用的python的版本...原创 2019-03-17 16:04:39 · 1534 阅读 · 1 评论