- 博客(28)
- 收藏
- 关注
RSS订阅转载 jupyter notebook
一、安装Aconda3服务器安装anaconda和主机上直接安装anaconda没有多大区别Linux安装Anaconda下载安装脚本：https://repo.continuum.io/archive/，选择要安装的Python版本和系统架构：# Python 3.5$ wget https://repo.continuum.io/archive/Anaconda3-4.2.0...
2019-05-21 09:22:00
107
转载 tornada-数据库
数据库torndb安装连接初始化执行语句executeexecute_rowcount查询语句getquery与Django框架相比，Tornado没有自带ORM，对于数据库需要自己去适配。我们使用MySQL数据库。在Tornado3.0版本以前提供tornado.database模块用来操作MySQL数据库，而从3...
2018-11-06 22:38:00
147
转载 tornada-模板
tornado模板1.配置模板路径 (project/config.py)# coding=utf-8import osBASE_DIRS = os.path.dirname(__file__)# 参数options = { “post” : 8000, }# 配置settings = { "static_path...
2018-11-06 16:29:00
156
转载 tornada-基础
回想Django的部署方式以Django为代表的python web应用部署时采用wsgi协议与服务器对接（被服务器托管），而这类服务器通常都是基于多线程的，也就是说每一个网络请求服务器都会有一个对应的线程来用web应用（如Django）进行处理。考虑两类应用场景1. 用户量大，高并发如秒杀抢购、双十一某宝购物、春节抢火车票2. 大量的HTTP持久连接使用同一个T...
2018-11-01 21:33:00
190
转载 django-第三方
6.第三方常用的第三方包或工具富文本编辑器缓存全文检索celery布署6.1.富文本编辑器借助富文本编辑器，管理员能够编辑出来一个包含html的页面，从而页面的显示效果，可以由管理员定义，而不用完全依赖于前期开发人员此处以tinymce为例，其它富文本编辑器的使用可以自行学习使用编辑器的显示效果为：下载安装在网站pypi网站...
2018-10-17 19:43:00
112
转载 django-高级
5.高级静态文件处理中间件上传图片Admin站点分页使用jquery完成ajax5.1.静态文件处理管理静态文件项目中的CSS、图片、js都是静态文件配置静态文件在settings 文件中定义静态内容STATIC_URL = '/static/'STATICFILES_DIRS = [os.path.join(BASE_...
2018-10-16 14:02:00
158
转载 django-模板
4.模板作为Web框架，Django提供了模板，可以很便利的动态生成HTML模版系统致力于表达外观，而不是程序逻辑模板的设计实现了业务逻辑(view)与显示内容（template）的分离，一个视图可以使用任意一个模板，一个模板可以供多个视图使用模板包含HTML的静态部分动态插入内容部分Django模板语言，简写DTL，定义在django.tem...
2018-10-12 08:37:00
106
转载 django-视图
视图视图接受Web请求并且返回Web响应视图就是一个python函数，被定义在views.py中响应可以是一张网页的HTML内容，一个重定向，一个404错误等等响应处理过程如下图：3.1.URLconf在settings.py文件中通过ROOT_URLCONF指定根级url的配置urlpatterns是一个url()实例的列表一个ur...
2018-10-10 16:55:00
88
转载 django-模型
2.模型ORM简介· MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库· ORM是“对象-关系-映射”的简称，主要任务是：根据对象的类型生成表结构将对象、列表的操作，转换为sql语句将sql查询到的结果转换为对象、列表· 这极大的减轻了开发...
2018-10-09 09:57:00
132
转载 django笔记一
课程介绍MVC大部分开发语言中都有MVC框架MVC框架的核心思想是：解耦降低各功能模块之间的耦合性，方便变更，更容易重构代码，最大程度上实现代码的重用m表示model，主要用于对数据库层的封装v表示view，用于向用户展示结果c表示controller，是核心，用于处理请求、获取数据、返回结果Django是一款python的web开发框架与MVC有...
2018-10-08 20:46:00
145
转载 redis数据库到mysql或mongodb数据库
# -*- coding:utf-8 -*-# item_mongodb.pyimport redisimport pymongoimport jsondef main(): redis_connect = redis.StrictRedis(host='127.0.0.1', port=6379, db=0) mongo_connect ...
2018-10-08 10:13:00
94
转载 Scrapy-redis分布式+Scrapy-redis实战
【学习目标】Scrapy-redis分布式的运行流程Scheduler与Scrapy自带的Scheduler有什么区别Duplication Filter作用源码自带三种spider的使用6. Scrapy-redis分布式组件Scrapy 和 scrapy-redis的区别Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis...
2018-09-30 11:01:00
248
转载 python2 'ascii'编码问题
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 223: ordinal not in range(128)解决方法1 import sys2 reload(sys)3 sys.setdefaultencoding('utf8')转载于:https://www.cn...
2018-09-28 14:26:00
119
转载 mongodb安装配置
下载Mongodb安装包：官方链接：windows下配置：在MongoDB/data下再创建db , log两个文件夹。因为启动mongodb服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，而且不能启动成功。启动MongoDB服务1.打开cmd命令行2.进入D:\MongoDB\bin目录3.输入如下的命令启动mongod...
2018-09-27 10:04:00
84
转载 爬虫笔记八——Scrapy实战项目
（案例一）手机App抓包爬虫1. items.pyimport scrapyclass DouyuspiderItem(scrapy.Item): # 存储照片的名字 nickName = scrapy.Field() # 照片的url路径 imageUrl = scrapy.Field()...
2018-09-26 15:40:00
222
转载 爬虫笔记七
Scrapy 中文手册： https://docs.pythontab.com/scrapy/scrapy0.24/index.htmlScrapy的项目结构Scrapy框架的工作流程Scrapy ShellItem PipelineScrapy项目的Spider类Scrapy项目的CrawlSpider类...
2018-09-25 21:07:00
847
转载 爬虫笔记六
机器视觉与Tesseract介绍机器视觉从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广 泛且具有深远的影响和雄伟的愿景的领域。我们将重点介绍机器视觉的一个分支：文字识别，介绍如何用一些 Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字，但是机器阅读这些图片就会非常困难，利用这种人类用户可以正常读取但是大多...
2018-09-20 22:22:00
98
转载 爬虫笔记五
会使用BeatifulSoup4解析和提取HTML/XML 数据Python类型和JSON类型的相互转化JsonPath解析和提取JSON文档使用队列进行多线程爬虫使用Selenium和PhantomJS爬取动态页面信息BeautifulSoup4解析器CSS 选择器：BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一...
2018-09-20 21:10:00
438
转载 爬虫笔记四
1、Handler处理器和Opener的作用# encoding=utf-8import urllib2# cookielib 模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。import cookieliba_url = 'http://www.baidu.com/'header...
2018-09-15 15:25:00
152
转载 爬虫笔记三
1、urllib和urllib2区别urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能，最显著的区别如下：（1）urllib仅可以接受URL，不能创建，设置headers的request类实例；（2）但是urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2则没有（这是urllib和urllib2经常一起使用的主...
2018-09-15 14:30:00
108
转载 爬虫笔记二
Python 的 re 模块re 模块的一般使用步骤如下：使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象通过Pattern对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。最后使用Match对象提供的属性和方法获得信息，根据需要进行其他的操作注意：正则表达式使用 对特殊字符进行转义，所...
2018-09-14 11:33:00
71
转载 Sublime3 快捷键
选择类Ctrl+D选中光标所占的文本，继续操作则会选中下一个相同的文本。Alt+F3选中文本按下快捷键，即可一次性选择全部的相同文本进行同时编辑。举个栗子：快速选中并更改所有相同的变量名、函数名等。Ctrl+L选中整行，继续操作则继续选择下一行，效果和 Shift+↓ 效果一样。Ctrl+Shift+L先选中多行，再按下快捷键，会在每行行尾插入光标，即可同时编...
2018-09-14 09:25:00
57
转载 爬虫笔记一
一、根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种.通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。聚焦爬虫 聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行...
2018-09-12 22:19:00
76
转载 Redis与Python交互
一、NoSQL简介 NoSQL，全名为Not Only SQL，指的是非关系型的数据库 随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来优点/缺点 优点:高可扩展性分布式计算低成本架构的灵活性，半结构化数据没有复杂的关系 缺点:没有标准化有限的查询功能（到目前为止）最终一致是不直观的...
2018-09-11 21:36:00
88
转载 MongoDB与python 交互
一、安装pymongo注意 ：当同时安装了python2和python3，为区分两者的pip，分别取名为pip2和pip3。推荐：https://www.cnblogs.com/thunderLL/p/6643022.html二、MongoDB与python 交互2.1、打开黑屏终端，启动mongodb服务，运行mongo# encoding=utf8...
2018-09-08 11:06:00
128
转载 MongoDB安装
一、MongoDB安装mongodb官网： https://www.mongodb.com/1.window安装1.1 将MongoDB安装为windows服务(cd 到 Mongodb中bin路径下 )mongod.exe --dbpath="E:\MongoDB_data\db" --logpath="E:\MongoDB_data\log\MongoDB.lo...
2018-09-08 10:54:00
38
转载 mongodb基本操作
一、MongoDB特点模式自由 :可以把不同结构的文档存储在同一个数据库里面向集合的存储：适合存储 JSON风格文件的形式完整的索引支持：对任何属性可索引复制和高可用性：支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目的是提供冗余及自动故障转移自动分片：支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器丰富的...
2018-09-07 22:10:00
72
转载 MySQL与Python交互
一、安装mysql二、安装第三方模块（python2.7下）三、新建数据库四、数据库的增、删、改、查五、封装1.1 首先安装mysqlsudo apt-get install mysql-server mysql-client1.2 mysql的启动、停止、重启service mysql startservice mysql stop...
2018-09-06 21:44:00
50
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人