- 博客(322)
- 收藏
- 关注
RSS订阅原创 redHat 7.2 安装docker
分为2步：安装yum 切阿里源https://www.jianshu.com/p/96a8c2489b94安装dockerhttps://blog.csdn.net/neu_xiaolu/article/details/91372082
2020-02-10 19:42:49
393
原创 es命令行用法
1. 索引相关操作先查询ES集群中有哪些索引。curl localhost:9200/_cat/indices返回空，这时候ES刚刚创建，还没有索引数据库。我们先创建一个索引(包括类型，文档）。curl -H "Content-Type: application/json" -XPUT localhost:9200/megacorp/employee/1?pretty -d '{...
2019-12-09 21:55:03
2995
原创 推荐算法——Surprise
Surprise入门使用官网：https://yiyibooks.cn/sorakunnn/surprisesurprise-v1.0.5/surprise-v1.0.5/index.html1. 使用movielens数据集from surprise import SVD, KNNWithMeans, Readerimport osfrom surprise import Datase...
2019-11-15 17:40:25
579
原创 python的 __new__ 和 __init__
_ _ new _ _在生成对象之前被调用，用来创建对象并返回对象，接收的是cls类参数。_ _ init _ _ 在生成对象之后被调用，用来初始化对象，接收的参数是self对象也就是： __new__先被调用，__init__后被调用，__new__的返回值（实例对象）将传递给__init__方法的第一个参数，然后__init__给这个实例对象设置一些参数。更多知识可看：https://w...
2019-11-06 11:41:14
127
原创 python实现斐波那契
非递归def func(n): f1=0 f2=1 i=3 while i <= n: f1,f2=f2,f1+f2 i+=1 return f2递归def func(n): if n==1: return 0 if n==2: return 1 return func(n-1)+func(n-2) python最大的递归层数是999，可...
2019-11-06 11:15:20
106
原创 python中*args和**kwargs的区别
1. *args可变参数，传入参数个数可变，将参数打包成元组例1：def function(*args): print(args, type(args))function(1)def function(x, y, *args): print(x, y, args)function(1, 2, 3, 4, 5)2. **kwargs关键字参数，传入参数个数...
2019-11-06 10:59:02
125
原创 深度学习（七）——keras的使用
简单使用# 序列模型# 序列模型属于通用模型的一种，因为很常见，所以这里单独列出来进行介绍，这种模型各层之间# 是依次顺序的线性关系，在第k层和第k+1层之间可以加上各种元素来构造神经网络# 这些元素可以通过一个列表来制定，然后作为参数传递给序列模型来生成相应的模型from keras.models import Sequential # 用它创建模型from keras.la...
2019-10-24 23:50:38
250
原创 深度学习（六）——反向传播计算w对应的梯度
如下图，从下往上是第一阶段，第二阶段是从上往下上图总结如下图上图中正向传播过程是绿色的数字，从左导右上图中反向传播（红色数字，从右到左），算法：求偏导之后将x代入算出结果，比如第一个结点1/x，它的偏导公式在上图中有，把1.37代入得-0.53，注意这里不是把0.73也不是把1当x代入，而是把1.37代入，因为x本来就是1.37，1/1.37才等于0.73，所以x是1.37，依次...
2019-10-23 22:14:28
713
原创 深度学习（五）——解决梯度消失的三个思路
1. 什么是梯度消散？如下图u介绍，当用sigmod函数时，当z过大或过小会发现梯度（斜率）接近水平，变成0了，即梯度消失2. 解决方法思路一使用relu函数，因为relu函数z小于0是，结果恒为0，z大于0时，结果为z本身，这样就是一条45度的直线，梯度永远不变，即不会消失不饱和激活函数leaky relu如下图，解决了relu在小于0的时候的不足，需自己实现elu，...
2019-10-22 23:43:28
1084
原创 mysql
%是0个或多个字符，结合like使用_是1个字符，结合like使用concat函数：合并两个或以上的字符串replace函数：REPLACE(‘vessel’,‘e’,‘a’) -> ‘vassal’case函数CASE WHEN condition1 THEN value1 WHEN condition2 THEN value2 E...
2019-10-18 10:46:30
118
原创 进程相关
1. 进程的状态三种基本状态就绪状态：当进程已获得除cpu以外的其他资源后，只要获得cpu，便可立即执行，此时进程的状态就称为就绪状态执行状态：进程已获得cpu，正在执行阻塞状态：正在执行的进程由于由于发生某事件而暂时无法继续执行，便放弃处理机而处于暂停状态，这种赞停状态就是阻塞状态图具有挂起状态的状态转换图图处于静止就绪状态的进程不能再被调度执行2. 进程控制块2.1 作...
2019-10-13 22:09:14
108
原创 数据库恢复技术
常用技术是数据转储和登记日志文件1. 数据转储转储即数据库管理员定期的将整个数据库复制到磁带，磁盘及其他存储介质上保存起来的过程。这些备用数据称为后备副本，当数据库遭到破坏后将后备腐败重新装入，但这样只能恢复到转储是的状态，要想恢复到故障发生时的状态，必须重新运行转储之后所有更新事务。转储时十分耗费时间和资源的，不能频繁进行转储分为动态转储和静态转储静态转储在系统中无运行时进行转储操...
2019-10-04 18:42:49
153
原创 数据库并发控制机制
wom知道事务的ACID特性被破坏的原因之一就是多个事务对数据库的并发操作造成的。所以 数据库管理系统需要对这些并发操作进行正确的调度，并发控制机制就是用正确的方式调度并发操作，使一个用户事务不收其他事务的干扰。并发控制的技术主要有封锁，时间戳，乐观控制发和多版本并发控制等1. 封锁基本的封锁类型有：排他锁（X锁，写锁）和共享锁（S锁，读锁）数据库中的共享锁和排他锁：https://blo...
2019-10-04 17:17:21
1500
原创 数据库中的共享锁和排他锁
共享锁，又称为读锁，获得共享锁之后，可以查看但无法修改和删除数据。排他锁，又称为写锁、独占锁，获得排他锁之后，既能读数据，又能修改数据。共享锁我们对数据进行读取操作的时候，其实是不会改变数据的值的。所以我们可以给数据库增加读锁，获得读锁的事务就可以读取数据了。当数据库已经被别人增加了读锁的时候，其他新来的事务也可以读数据，但是不能写。也就是说，如果事务T对数据A加上共享锁后...
2019-10-02 20:30:15
670
原创 编译过程（概念）
1. 词法分析Lexical Analysis从左到右一个字符一个字符的读入源程序，对构成源程序的字符串进行扫描和分解，从而识别出一个个单词（也称单词符号或简称符号）例如某源程序片段如下：var sum, first, count ：real ； begin sum ：= first + count * 10 ； end．词法分析阶段通过对该程序...
2019-09-30 23:47:03
290
转载 dhcp工作过程
1. DHCP服务器IP分配方式使用UDP协议工作，常用的2个端口：67（DHCP server），68（DHCP client）DHCP服务器提供三种IP分配方式：自动分配（Automatic Allocation）自动分配是当DHCP客户端第一次成功地从DHCP服务器端分配到一个IP地址之后，就永远使用这个地址。动态分配（Dynamic Allocation）动态分配是当D...
2019-09-30 21:22:49
362
原创 深度学习（四）——卷积神经网络CNN
卷积层；如下图，从底层看起把两个矩阵卷积为两个点，第二层再把一个矩阵卷积为一个点，所以这是两层卷积DNN是输入层直接全连接隐藏层而CNN是输入层先连接卷积层，再连接隐藏层如何卷积?例：如下图，从绿色的第0行开始先选33和黄色的33相乘（这里是对应位置相乘）后有4个地方是1，所以红色的第0行0列就填4，然后绿色继续右移Stride=2步，再与黄色的相乘…依次类推，最后的结果就是把4个3...
2019-09-26 18:36:28
229
原创 深度学习（二）——案例，两层DNN进行图片识别
只有一层隐藏层，一般叫多层感知机深度神经网络DNN每根线上都有wimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport numpy as np# 全连接，通过它进行上下层之间的全连接from tensorflow.contrib.layers import fu...
2019-09-26 15:19:03
1030
原创 深度学习（一）——placeholder的使用
使用placeholderimport tensorflow as tf# 让我们修改前面的代码去实现Mini-Batch梯度下降# 为了去实现这个，我们需要一种方式去取代X和y在每一次迭代中，使用一小批数据# 最简单的方式去做到这个是去使用placeholder节点# 这些节点特点是它们不真正的计算，它们只是在执行过程中你要它们输出数据的时候去输出数据# 它们会传输训练数据给Ten...
2019-09-26 14:47:29
2045
原创 Python getattr() 函数
Python getattr() 函数用于返回一个对象属性值。class A(object): bar = 1a = A()getattr(a, 'bar') # 获取属性 bar 值结果：1getattr(a, 'bar2') # 属性 bar2 不存在，触发异常Traceback (most recent call last): Fi...
2019-09-12 16:42:11
134
原创 Docker（四）——高级网络配置
当 Docker 启动时，会自动在主机上创建一个 docker0 虚拟网桥，实际上是 Linux 的一个 bridge，可以理 解为一个软件交换机。它会在挂载到它的网口之间进行转发。同时，Docker 随机分配一个本地未占用的私有网段（在 RFC1918 中定义）中的一个地址给 docker0 接 口。比如典型的 172.17.42.1 ，掩码为 255.255.0.0 。此后启动的...
2019-09-10 18:21:26
324
原创 Docker学习（四）——使用网络
Docker 允许通过外部访问容器或容器互联的方式来提供网络服务。一. 外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映 射。当使用 -P 标记时，Docker 会随机映射一个 49000~49900 的端口到内部容器开放的网络端口。使用 docker ps 可以看到，本地主机的 32770 被映射到了容器的 5...
2019-09-10 16:14:50
109
原创 Docker学习（三）——Docker 数据管理
在容器中管理数据主要有两种方式：数据卷（Data volumes）数据卷容器（Data volume containers）1. 数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS，可以提供很多有用的特性：数据卷可以在容器之间共享和重用对数据卷的修改会立马生效对数据卷的更新，不会影响镜像卷会一直存在，直到没有容器使用*数据卷的使用，类似于 Linux 下对...
2019-09-10 12:11:33
82
原创 Docker学习（二）——镜像，容器，仓库
1. Docker 镜像1. 获取镜像可以使用docker pull命令来从仓库获取所需要的镜像。下面的例子将从 Docker Hub 仓库下载一个 Ubuntu 12.04 操作系统的镜像。下载过程中，会输出获取镜像的每一层信息。该命令实际上相当于 $ sudo docker pull registry.hub.docker.com/ubuntu:12.04 命令，即从注册服 务...
2019-09-10 10:43:09
219
原创 深度学习（三）——TensorBoard可视化
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamax_steps = 1000learning_rate = 0.001dropout = 0.9data_dir = './MNIST_data_bak'# 日志文件存放的路径log_dir = './logs/mn...
2019-09-07 23:30:18
170
原创 docker学习（一）——基本概念
1. 简介Docker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案。 Docker 的基础是 Linux 容器（LXC）等技 ...
2019-09-05 16:56:06
108
原创 Centos6安装docker
CentOS 6.5 的内核一般都是2.6，在2.6的内核下，Docker运行会比较卡，所以一般会选择升级到更高版本，本次教程升级版本为4.4.170-1.el6.elrepo.x86_64。查看Linux版本cat /etc/issue查看内核版本uname -a1. 更新内核版本1.1 导入Public keyrpm --import https://www.e...
2019-09-02 10:37:12
381
原创 深度学习（一）——初识TensorFlow
1. 认识TensorFlow2. 概念第二行：b就是w0，Variable是变量的意思第三行：unniform是范围是-1到+1之间的均匀分布，w是784行，100列的数据第四行：占位，占了个空，未来有数据可以填进去第五行：relu是一个函数，<0的时候就是0，>0的时候是x，如下图matmul就是矩阵相乘，w乘x3. 代码TensorFlow程序可以通过...
2019-09-01 21:55:30
276
原创 机器学习（十七）——密度聚类
分离的层次聚类：分裂，求相似性，相似性达到了，停止，没有达到则继续分裂…样本中有层次的包含关系（如省，市，县）适合用层次聚类，如果用层次聚类，人们一般用凝聚的层次聚类...
2019-08-30 16:32:03
326
原创 机器学习（十六）——聚类评估
1. Given labelGiven label就是有给了y，给了y’的哈好处就是可以根据y来对比，评估聚类的结果怎么样，好不好例：男女分类，均一性就是男类别例都是男的，但并不是所有男的都分进来了；完整性就是所有女的都被分到女生类别里了，但可能也有几个男的就像Precision和Recall结合起来生成F-Measure（f-score）一样，均一性和完整性结合起来生成V-Measure，...
2019-08-30 16:02:12
149
原创 机器学习（十五）——Canopy聚类
一次迭代就出结果，适用于初始的k个中心点参数：T1，T2规则：T2内的点和黑色点是一个类别，并且不能成为其他类别的中心点T1内T2外的小蓝点和黑点是一个类别，也可以成为其他类别的中心点T1之外的点不是这个类别，可以成为其他类别的中心点例：现在已经有一个中心点（就是小黑点），如果我们要选择下一个中心点，只能从蓝点和红点中选择，假设我们选了一个蓝点作为第二个类别的中心点，那么像图中一...
2019-08-25 23:11:09
328
原创 机器学习（十四）——K-Means聚类
理解聚类：本质：1. K-Means做聚类理解k-Means过程例：对下图做聚类先随机生成k个中心点，如下图，k=3然后给定一个初始化分计算每个cluster的x，y的均值，使得每个cluster都产生一个均值中心点。然后根据距离调整划分情况，如下图，上图中的三角形离中心五角星更近，所以把它划分成五角星，新加入一个五角星后，中心自然会再次向新加入的方向移动一点，中心移...
2019-08-24 23:37:11
592
原创 机器学习（十三）——相似度的计算方法
无监督机器学习特点：聚类特点：对于聚类来说，相似性非常重要，下面我们就来看看相似度怎么算最经典的就是欧式距离（两点之间的距离，上图中的二维空间公式）上图中右下角的第一个公式就是Jaccard系数，如果是距离的话第二个公式可以体现例：推荐系统相似度的两种测量方式：一个测量是高维空间里向量点和向量点的相似度；另一个是Jaccard系数（测量两个集合之间的相似度）...
2019-08-24 17:12:09
2712
原创 机器学习（十二）——分类评估指标
1. 混淆矩阵例：上图中10行10列的数据，我们可以看出对角线的数据都格外的大，但是除了对角线的数据外也有一些例外的数据，它们也偏大一些，比如第7行第9列的236，第9行7列的223，5行7列的193，7行5列的231等等，我们也可以看出这些数的规律：把7和9弄错了，7和5弄错了的情况下就变成7行7列或9行9列，7行7列或5行5列，这就变成了对角线上的数，所以它们才会大。所以，混淆矩阵就是...
2019-08-22 19:26:56
199
原创 36进制加法问题——python实现
问题描述：36进制由0-9，a-z，共36个字符表示，’0’ ~ '9’对应十进制的0 ~ 9，‘a’ ~ 'z’对应十进制的10 ~ 35例如：‘1b’ 换算成10进制等于 1 * 36^1 + 11 * 36^0 = 36 + 11 = 47要求:按照加法规则计算出任意两个36进制正整数的和如：按照加法规则，计算’1b’ + ‘2x’ = ‘48’代码：def add(s...
2019-08-20 19:31:17
1210
1
原创 对称加密和非对称加密
对称加密加密和解密的密钥使用的是同一个.，通信双方都有相同的密钥，一方发送用密钥加密后的数据给另一方，另一方用密钥解密。优点:算法公开、计算量小、加密速度快、加密效率高缺点:在数据传送前，发送方和接收方必须商定好秘钥，然后 使双方都能保存好秘钥。其次如果一方的秘钥被泄露，那么加密信息也就不安全了。另外，每对用户每次使用对称加密算法时，都需要使用其他人不知道的唯一秘钥，这会使得收、发双方所...
2019-08-20 18:11:33
1186
原创 打印A-Z这26个字母的所有子集——python实现
题目：有一个集合由A-Z这26个字母组成，打印这个集合的所有子集，每个子集一行，使用C/C++实现，不要使用递归。分析：该题可参见著作《编程之法：面试和算法心得》。26个大写字母，乍一看真没啥思路，假设只有三个字母ABC，那么子集有：{}ABCABACBCABC把ABC看作三个比特位，分别为：000100010001110101011111对上面的比特...
2019-08-20 13:24:10
1914
1
原创 自旋锁
什么是自旋锁？自旋锁（spinlock）：是指当一个线程在获取锁的时候，如果锁已经被其它线程获取，那么该线程将循环等待，然后不断的判断锁是否能够被成功获取，直到获取到锁才会退出循环。获取锁的线程一直处于活跃状态，但是并没有执行任何有效的任务，使用这种锁会造成busy-waiting。它是为实现保护共享资源而提出一种锁机制。其实，自旋锁与互斥锁比较类似，它们都是为了解决对某项资源的互斥使用。无...
2019-08-19 18:17:05
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人