自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 收藏
  • 关注

转载 jupyter notebook

一、安装Aconda3服务器安装anaconda和主机上直接安装anaconda没有多大区别Linux安装Anaconda下载安装脚本:https://repo.continuum.io/archive/,选择要安装的Python版本和系统架构:# Python 3.5$ wget https://repo.continuum.io/archive/Anaconda3-4.2.0...

2019-05-21 09:22:00 107

转载 tornada-数据库

数据库torndb安装连接初始化执行语句executeexecute_rowcount查询语句getquery与Django框架相比,Tornado没有自带ORM,对于数据库需要自己去适配。我们使用MySQL数据库。在Tornado3.0版本以前提供tornado.database模块用来操作MySQL数据库,而从3...

2018-11-06 22:38:00 147

转载 tornada-模板

tornado模板1.配置模板路径 (project/config.py)# coding=utf-8import osBASE_DIRS = os.path.dirname(__file__)# 参数options = { “post” : 8000, }# 配置settings = { "static_path...

2018-11-06 16:29:00 156

转载 tornada-基础

回想Django的部署方式以Django为代表的python web应用部署时采用wsgi协议与服务器对接(被服务器托管),而这类服务器通常都是基于多线程的,也就是说每一个网络请求服务器都会有一个对应的线程来用web应用(如Django)进行处理。考虑两类应用场景1. 用户量大,高并发如秒杀抢购、双十一某宝购物、春节抢火车票2. 大量的HTTP持久连接使用同一个T...

2018-11-01 21:33:00 190

转载 django-第三方

6.第三方常用的第三方包或工具富文本编辑器缓存全文检索celery布署6.1.富文本编辑器借助富文本编辑器,管理员能够编辑出来一个包含html的页面,从而页面的显示效果,可以由管理员定义,而不用完全依赖于前期开发人员此处以tinymce为例,其它富文本编辑器的使用可以自行学习使用编辑器的显示效果为:下载安装在网站pypi网站...

2018-10-17 19:43:00 112

转载 django-高级

5.高级静态文件处理中间件上传图片Admin站点分页使用jquery完成ajax5.1.静态文件处理管理静态文件项目中的CSS、图片、js都是静态文件配置静态文件在settings 文件中定义静态内容STATIC_URL = '/static/'STATICFILES_DIRS = [os.path.join(BASE_...

2018-10-16 14:02:00 158

转载 django-模板

4.模板作为Web框架,Django提供了模板,可以很便利的动态生成HTML模版系统致力于表达外观,而不是程序逻辑模板的设计实现了业务逻辑(view)与显示内容(template)的分离,一个视图可以使用任意一个模板,一个模板可以供多个视图使用模板包含HTML的静态部分动态插入内容部分Django模板语言,简写DTL,定义在django.tem...

2018-10-12 08:37:00 106

转载 django-视图

视图视图接受Web请求并且返回Web响应视图就是一个python函数,被定义在views.py中响应可以是一张网页的HTML内容,一个重定向,一个404错误等等响应处理过程如下图:3.1.URLconf在settings.py文件中通过ROOT_URLCONF指定根级url的配置urlpatterns是一个url()实例的列表一个ur...

2018-10-10 16:55:00 88

转载 django-模型

2.模型ORM简介· MVC框架中包括一个重要的部分,就是ORM,它实现了数据模型与数据库的解耦,即数据模型的设计不需要依赖于特定的数据库,通过简单的配置就可以轻松更换数据库· ORM是“对象-关系-映射”的简称,主要任务是:根据对象的类型生成表结构将对象、列表的操作,转换为sql语句将sql查询到的结果转换为对象、列表· 这极大的减轻了开发...

2018-10-09 09:57:00 132

转载 django笔记一

课程介绍MVC大部分开发语言中都有MVC框架MVC框架的核心思想是:解耦降低各功能模块之间的耦合性,方便变更,更容易重构代码,最大程度上实现代码的重用m表示model,主要用于对数据库层的封装v表示view,用于向用户展示结果c表示controller,是核心,用于处理请求、获取数据、返回结果Django是一款python的web开发框架与MVC有...

2018-10-08 20:46:00 145

转载 redis数据库到mysql或mongodb数据库

# -*- coding:utf-8 -*-# item_mongodb.pyimport redisimport pymongoimport jsondef main(): redis_connect = redis.StrictRedis(host='127.0.0.1', port=6379, db=0) mongo_connect ...

2018-10-08 10:13:00 94

转载 Scrapy-redis分布式+Scrapy-redis实战

【学习目标】Scrapy-redis分布式的运行流程Scheduler与Scrapy自带的Scheduler有什么区别Duplication Filter作用源码自带三种spider的使用6. Scrapy-redis分布式组件Scrapy 和 scrapy-redis的区别Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis...

2018-09-30 11:01:00 248

转载 python2 'ascii'编码问题

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 223: ordinal not in range(128)解决方法1 import sys2 reload(sys)3 sys.setdefaultencoding('utf8')转载于:https://www.cn...

2018-09-28 14:26:00 119

转载 mongodb安装配置

下载Mongodb安装包:官方链接:windows下配置:在MongoDB/data下再创建db , log两个文件夹。因为启动mongodb服务之前需要必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。启动MongoDB服务1.打开cmd命令行2.进入D:\MongoDB\bin目录3.输入如下的命令启动mongod...

2018-09-27 10:04:00 84

转载 爬虫笔记八——Scrapy实战项目

(案例一)手机App抓包爬虫1. items.pyimport scrapyclass DouyuspiderItem(scrapy.Item): # 存储照片的名字 nickName = scrapy.Field() # 照片的url路径 imageUrl = scrapy.Field()...

2018-09-26 15:40:00 222

转载 爬虫笔记七

Scrapy 中文手册: https://docs.pythontab.com/scrapy/scrapy0.24/index.htmlScrapy的项目结构Scrapy框架的工作流程Scrapy ShellItem PipelineScrapy项目的Spider类Scrapy项目的CrawlSpider类...

2018-09-25 21:07:00 846

转载 爬虫笔记六

机器视觉与Tesseract介绍机器视觉从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机,机器视觉一直都是一个应用广 泛且具有深远的影响和雄伟的愿景的领域。我们将重点介绍机器视觉的一个分支:文字识别,介绍如何用一些 Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字,但是机器阅读这些图片就会非常困难,利用这种人类用户可以正常读取但是大多...

2018-09-20 22:22:00 98

转载 爬虫笔记五

会使用BeatifulSoup4解析和提取HTML/XML 数据Python类型和JSON类型的相互转化JsonPath解析和提取JSON文档使用队列进行多线程爬虫使用Selenium和PhantomJS爬取动态页面信息BeautifulSoup4解析器CSS 选择器:BeautifulSoup4和 lxml 一样,Beautiful Soup 也是一...

2018-09-20 21:10:00 438

转载 爬虫笔记四

1、Handler处理器和Opener的作用# encoding=utf-8import urllib2# cookielib 模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。import cookieliba_url = 'http://www.baidu.com/'header...

2018-09-15 15:25:00 152

转载 爬虫笔记三

1、urllib和urllib2区别urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能,最显著的区别如下:(1)urllib仅可以接受URL,不能创建,设置headers的request类实例;(2)但是urllib提供urlencode()方法用来GET查询字符串的产生,而urllib2则没有(这是urllib和urllib2经常一起使用的主...

2018-09-15 14:30:00 108

转载 爬虫笔记二

Python 的 re 模块re 模块的一般使用步骤如下:使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象通过Pattern对象提供的一系列方法对文本进行匹配查找,获得匹配结果,一个 Match 对象。最后使用Match对象提供的属性和方法获得信息,根据需要进行其他的操作注意:正则表达式使用 对特殊字符进行转义,所...

2018-09-14 11:33:00 70

转载 Sublime3 快捷键

选择类Ctrl+D选中光标所占的文本,继续操作则会选中下一个相同的文本。Alt+F3选中文本按下快捷键,即可一次性选择全部的相同文本进行同时编辑。举个栗子:快速选中并更改所有相同的变量名、函数名等。Ctrl+L选中整行,继续操作则继续选择下一行,效果和 Shift+↓ 效果一样。Ctrl+Shift+L先选中多行,再按下快捷键,会在每行行尾插入光标,即可同时编...

2018-09-14 09:25:00 57

转载 爬虫笔记一

一、根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种.通用爬虫  通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。聚焦爬虫  聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于:聚焦爬虫在实施网页抓取时会对内容进行...

2018-09-12 22:19:00 76

转载 Redis与Python交互

一、NoSQL简介 NoSQL,全名为Not Only SQL,指的是非关系型的数据库 随着访问量的上升,网站的数据库性能出现了问题,于是nosql被设计出来优点/缺点 优点:高可扩展性分布式计算低成本架构的灵活性,半结构化数据没有复杂的关系 缺点:没有标准化有限的查询功能(到目前为止)最终一致是不直观的...

2018-09-11 21:36:00 88

转载 MongoDB与python 交互

一、安装pymongo注意 :当同时安装了python2和python3,为区分两者的pip,分别取名为pip2和pip3。推荐:https://www.cnblogs.com/thunderLL/p/6643022.html二、MongoDB与python 交互2.1、打开黑屏终端,启动mongodb服务,运行mongo# encoding=utf8...

2018-09-08 11:06:00 128

转载 MongoDB安装

一、MongoDB安装mongodb官网: https://www.mongodb.com/1.window安装1.1 将MongoDB安装为windows服务(cd 到 Mongodb中bin路径下 )mongod.exe --dbpath="E:\MongoDB_data\db" --logpath="E:\MongoDB_data\log\MongoDB.lo...

2018-09-08 10:54:00 38

转载 mongodb基本操作

一、MongoDB特点模式自由 :可以把不同结构的文档存储在同一个数据库里面向集合的存储:适合存储 JSON风格文件的形式完整的索引支持:对任何属性可索引复制和高可用性:支持服务器之间的数据复制,支持主-从模式及服务器之间的相互复制。复制的主要目的是提供冗余及自动故障转移自动分片:支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器丰富的...

2018-09-07 22:10:00 72

转载 MySQL与Python交互

一、安装mysql二、安装第三方模块(python2.7下)三、新建数据库四、数据库的增、删、改、查五、封装1.1 首先安装mysqlsudo apt-get install mysql-server mysql-client1.2 mysql的启动、停止、重启service mysql startservice mysql stop...

2018-09-06 21:44:00 50

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除