- 博客(113)
- 收藏
- 关注
RSS订阅转载 数据库设计三大范式
第一范式（1NF)所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。在任何一个关系数据库中，第一范式（1NF）是对关系模式...
2019-07-15 21:49:00
294
转载 数据结构 --- 04.排序算法
一.冒泡def sort(alist): length = len(alist) for j in range(length-1): for i in range(length-1-j): if alist[i] > alist[i+1]: temp = al...
2019-06-15 20:12:00
271
转载 数据结构 --- 03.查找, 二叉树
一.查找 1.顺序查找(列表无序)顺序查找原理剖析： 从列表中的第一个元素开始，我们按照基本的顺序排序，简单地从一个元素移动到另一个元素， 直到找到我们正在寻找的元素或遍历完整个列表。如果我们遍历完整个列表，则说明正在搜索的元素不存在。def search(alist,item): find = False length = len(...
2019-06-15 19:04:00
249
转载 数据分析 --- 03.数据清洗, 拼接,替换, 映射,排序,分类
一.数据清洗- 清洗空值- 清洗重复值- 清洗异常值数据的导入与导出:参考博客:https://www.cnblogs.com/dev-liu/p/pandas_2.html 1.清洗空值有两种丢失数据： None None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。 np.nan(N...
2019-06-10 19:38:00
555
转载 数据分析 --- 02.Pandas
一.Series 对象(一维数组)Series是一种类似与一维数组的对象，由下面两个部分组成： values：一组数据（ndarray类型） index：相关的数据索引标签 1.创建# 导入模块from pandas import Series,DataFrameimport pandas as pdimport numpy as np...
2019-06-05 20:41:00
160
转载 数据分析 --- 01. Numpy
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。一.创建 1. 使用np.array() 创建导入模块:import numpy as np ①一维数据创建np.array([1,2,3,4,5])结果为:array...
2019-06-05 16:37:00
111
转载 爬虫 --- 08. 全站爬取(CrawlSpider), 分布式, 增量式爬虫
一.全站爬取(CrawlSpider) 1.基本概念作用：就是用于进行全站数据的爬取 - CrawlSpider就是Spider的一个子类 - 如何新建一个基于CrawlSpider的爬虫文件 - scrapy genspider -t crawl xxx www.xxx.com - LinkExtractor连接提取器：根据...
2019-06-04 19:19:00
565
转载 爬虫 --- 07. 全站爬取(手动), post请求,cookie, 传参,中间件,selenium
一.全站数据的爬取(手动)- yield scrapy.Request(url,callback):callback回调一个函数用于数据解析# 爬取阳光热线前五页数据import scrapyfrom sunLinePro.items import SunlineproItemclass SunSpider(scrapy.Spider): nam...
2019-06-03 20:46:00
562
转载 数据结构 --- 02. 内存, 顺序表, 单链表
一.内存 1.基本概念计算机的作用: 就是用来存储和运算二进制的数据变量的概念： 就是计算机中的某一块内存空间衡量计算机内存大小的范围： bit byte kb mb计算机中内存空间都会有两个基本的属性 大小 地址不同数据占用内存空间的大小 整数：4byte float：4...
2019-06-01 18:37:00
172
转载 数据结构 --- 01. 时间复杂度,timeit模块,栈,队列,双端队列
一.时间复杂度 1.基本概念评判程序优劣的方法: 消耗计算机资源和执行效率（无法直观） 计算算法执行的耗时（适当推荐，因为会受机器和执行环境的影响） 时间复杂度（推荐）时间复杂度 评判规则：量化算法执行的操作/执行步骤的数量 最重要的项：时间复杂度表达式中最有意义的项 大O记法：O（时间复杂度表达式中最有意义的项）...
2019-06-01 18:20:00
507
转载 爬虫 --- 06. scrapy框架初始,移动端数据爬取
一.基本概念- scrapy:爬虫框架。 异步爬取，高性能的数据解析+持久化存储操作， 集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。- 框架：集成了很多功能且具有很强通用性的一个项目模板- 如何学习框架： - 学习框架的功能模块的具体使用。二. 环境的安装 windows系统...
2019-05-31 18:36:00
241
转载 爬虫 --- 05. 异步协程, 浏览器自动化,
一.单线程+异步协程 1.基本概念:event_loop：事件循环，相当于一个无限循环，我们可以把一些特殊函数注册（放置）到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。程序是按照设定的顺序从头执行到尾，运行的次数也是完全按照设定。当在编写异步程序时，必然其中有部分程序的运行耗时是比较久的，需要先让出当前程序的控制权，让其在背后运行，让另一部分的程序先运行起来。...
2019-05-30 21:57:00
278
转载 爬虫 --- 04. 代理服务器, 验证码识别, 处理cookie,线程池
一.代理服务器 1.基本概念- 代理的网站： - 快代理 - 西祠代理 - goubanjia (概率较高) - 代理知识：https://help.kuaidaili.com/wiki/- 匿名度： - 透明：对方服务器可以知道你使用了代理，并且也知道你的真实IP - 匿名：对方服务器可以知道你使用了代理，...
2019-05-29 22:36:00
3395
转载 爬虫 --- 02. 爬取图片,数据解析
一.两种爬取图片的方法 ①requests方法import requestsheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}...
2019-05-28 20:08:00
356
转载 Elasticsearch --- 6. 集群,recovery,打分,路由,别名,模板,其他
详细查看转载于:https://www.cnblogs.com/sc-1067178406/p/10933493.html
2019-05-27 21:37:00
108
转载 爬虫 --- 01 anaconda安装,http与https, 爬虫初始
一.Anaxonda的安装 1.双击Anaconda3-5.0.0-Windows-x86_64.exe文件 2.下一步 3.①打开cmd窗口，录入jupyter notebook指令，如果没有显示找不到命令且没有报错即可表示安装成功！②在开始菜单中显示二.HTTP 与HTTPS ...
2019-05-27 20:25:00
511
转载 Elasticsearch --- es中用ajax实现分页
一.后端①分页函数from django.shortcuts import render, HttpResponsefrom elasticsearch import Elasticsearchfrom elasticsearch import helpersfrom django.http.response import JsonResponsefrom web...
2019-05-24 22:29:00
213
转载 Elasticsearch --- 向es中导入数据
一.从文件导入(用django启动)def zi_dr(request): f = open('c.txt', 'r', encoding='utf-8') action = [ { "_index": "c12", "_type": "doc", "_sour...
2019-05-24 22:02:00
1002
转载 Elasticsearch --- 4. term与match ,修改器,建议器
一.term与match 1.区别term查询查找包含文档精确的倒排索引指定的词条。也就是精确查找(没经过分词)。term和match的区别是： match是经过analyer的，也就是说，文档首先被分析器给处理了。根据不同的分析器，分析的结果也稍显不同，然后再根据分词结果进行匹配。 term则不经过分词，它是直接去倒排索引中查找了精确的值了。...
2019-05-24 21:54:00
91
转载 Elasticsearch --- 3. ik中文分词器, python操作es
一.IK中文分词器 1.下载安装 官网地址 2.测试#显示结果{ "tokens" : [ { "token" : "上海", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", ...
2019-05-22 22:43:00
1277
转载 Elasticsearch --- 2. 常用操作
0.创建PUT s1/doc/1{ "name":"张三", "age":"23", "sex":"男"}PUT s1/doc/2{ "name":"李四", "age":"30", "sex":"男"}PUT s1/doc/3{ "name":"小六", "age":"18", "...
2019-05-21 18:04:00
148
转载 Elasticsearch --- 01 java , elasticsearch, kibana 的下载安装,es初识
一java 的安装下载 1.下载 官网地址 2.安装(进行默认安装,都选下一步) 3.配置环境变量 4.添加path (可不加) 5.测试二.elasticsearch 的安装下载 1. 下载...
2019-05-20 22:05:00
255
转载 自动化运维 ---- 07 . python 操作git
一.下载安装①在windows系统中②在linux系统中二.基本操作 1.第一种格式from git import Repo# r=Repo("C:\\Users\\Administrator\\Desktop\\derek")# git add# r.index.add(["issue/utils/gitfile....
2019-05-14 22:14:00
122
转载 ansible --- 6. TestAdHocRunner, TestCommandRunner,TestPlauBookRunner
一.TestAdHocRunner①②③二.TestCommandRunner①②③三.TestPlauBookRunner①②文件中的内容③④执行的结果同上四. ansible api...
2019-05-13 22:12:00
135
转载 celery --- 5. celery 基础
一.安装celery 模块 ① ②在windows系统运行时安装 eventlet 模块 运行时输入代码: ③ 在其他系统运行时直接输入代码:celery worker -A 消费者文件名 -l info 二.celery 异步任务 1.消费者中(s1.py)from celer...
2019-05-08 23:33:00
269
转载 ansible --- 4. playbook
一. playbook格式Usage: ansible-playbook [options] playbook.yml [playbook2 ...](代码执行格式)optons:-C, --check #白跑，执行但是不会有结果--list-hosts #列出符合的主机-f FORKS, --forks=FORKS #做并发--syntax-check #检查语...
2019-05-07 17:30:00
103
转载 ansible --- 3. 远程控制 (ad-hoc)
一. 下载安装#下载wgetyum install -y wget#将epel源下载到本地wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo#安装ansibleyum install -y ansible二. ansible 命令格式U...
2019-05-05 17:53:00
231
转载 git --- 2. 分支,tag, 忽略文件, openpyxl
一.分支常用指令:git branch 查看分支git branch name 创建分支git checkout name 切换分支git checkout -b name 创建并切换分支git branch -d 删除分支git branch dev origin/dev 创建dev分支并以线上的为蓝本下载git checkou...
2019-04-30 17:33:00
140
转载 自动化运维 --- 1. git 常用指令
一. git 概括二.常用指令git init 初始化git status 查看git的状态git add 将文件放到缓存区git commit -m 将缓存区的内容提交到本地仓库git config --global user.email 'xiaoqiang@oldboyedu.com'设置用户的邮箱git conf...
2019-04-29 20:00:00
155
转载 PyCharm快捷键大全
1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 Web帮助文档主页Shift + F1 选中对象的Web帮助文档Ctrl + 悬浮/单击鼠...
2019-04-26 11:41:00
58
转载 HBuilder --- MUI , HTML5
一.创建简单app应用 ①②③连接手机④二.MUI 各组件的运用 http://dev.dcloud.net.cn/mui/snippet/三. HTML5plus 参考文档:http://www.html5plus.org/ 用来调用操作系统中的硬件驱动...
2019-04-18 22:57:00
153
转载 MongoDB --- 02. 基本操作,增删改查,数据类型,比较符,高级用法,pymongo
一.基本操作1. mongod 启动服务端 2. mongo 启动客户端3. show databses 查看本地磁盘的数据库4. use 库名 切换到要使用的数据库5. db 查看当前使用的数据库6. show tables 查看当前数据库存放在磁盘上的数据表7. use 新库名 创建数据库...
2019-04-17 22:24:00
195
转载 MongoDB --- 01. 安装, 第三方客户端
一.安装 1.选择默认安装 ①完成后进入目录查看"C:\Program Files\MongoDB\Server\3.4\bin" ② 配置环境变量 ③ 在 c盘创建目录(数据库存储路径)C:\data\db\也可以用命令 ④启动服务端mongod...
2019-04-17 20:53:00
132
转载 人工智能 02. 图像识别
一.动物识别 1.基本格式from aip import AipImageClassifyimport os""" 你的 APPID AK SK """APP_ID = '16035518'API_KEY = 'Fx1UnQOItgFpBi9VnYHZHxY8'SECRET_KEY = '39YjAUW6GjdEGFMhIz6rQxdTamVUZ...
2019-04-16 21:07:00
262
转载 人工智能 01. 语音合成,语音识别,相似度,图灵机器人,智能对话
一.准备工作(基于百度ai) 1.创建应用①②③④ 2.用python时,下载模块 baidu-aip二.语音合成 将 文本 转换成 音频 1.基本框架from aip import AipSpeech""" 你的 APPID AK SK """ #...
2019-04-16 17:10:00
501
转载 websocket --- 05 . http与websocket
一.http协议1.基于 TCP 协议 2.一次请求 一次响应 断开 3.客户端永远处于主动状态 4.服务器永远处于被动状态 5.Http无状态 - 在服务器不保存客户端的信息 6.服务器无法主动找到客户端二.轮询,长轮询,长连接 1.轮询 客户端向服务器不断发起类似Http请求 服务器不断的响应...
2019-04-15 22:49:00
438
转载 flask --- 04 . 偏函数, 线程安全,栈堆,
一.偏函数(partial) ①第一种 结果为: ② 第二种二.线程安全 将空间转换成时间 问题: 1秒钟打印所有结果threading.current_thread().ident :线程ID ①不安全示例import timefrom threading import Thread...
2019-04-12 16:48:00
170
转载 flask --- 03 .特殊装饰器, CBV , redis ,三方组件
一.特殊装饰器(中间件) 1.before_request 在请求进入视图函数之前 @app.before_request def look(): 2. after_request 在结束视图函数之后,响应返回客户端之前 @app.after_request def af1(res)from ...
2019-04-11 17:45:00
144
转载 flask --- 02. 路由, 初始化配置,蓝图
一.Flask 路由 1.添加路由的方式 ① ②实例: ① @app.route("/my_de") def detail() ② def detail() app.add_url_rule("/my_de",view_func=detail) 2.常用参...
2019-04-10 18:01:00
187
转载 linux --- 10.常见命令
1.在登录Linux时，一个具有唯一进程ID号的shell将被调用，这个ID是什么()A.NID B.PID C.UID C.CID2.下面那个用户存放用户密码信息()A./boot B./etc C./var D./dev3.用于自动补全功能时，输入命令或文件的前1个或后几个字母按什么键()A.ctrl B.tab C.alt D.esc4.vim退出不保存的命令是()A....
2019-04-10 10:04:00
4045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人