自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 【大数据】Spark On Yarn

Spark在YARN中有yarn-cluster和yarn-client两种运行模式: I. Yarn client 在yarn-client模式下,Driver运行在Client上,通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor conta...

2019-09-17 10:00:00

阅读数 3

评论数 0

原创 【Git】git pull和git pull --rebase的使用

git pull = git fetch + git mergegit pull --rebase = git fetch + git rebase 现在来看看git merge和git rebase的区别。 假设有3次提交A,B,C。 在远程分支origin的基础上创建一个名为&quo...

2019-03-22 10:14:00

阅读数 2

评论数 0

原创 【Zookeeper】连接ZooKeeper的方式

使用客户端命令连接Zookeeper 连接Server使用命令./zkCli.sh -server127.0.0.1:2181 使用JAVA连接使用ZK POM添加引用 <dependency> <groupId>org.apache.zookeeper<...

2019-03-05 11:08:00

阅读数 3

评论数 0

原创 【云计算】IaaS、PaaS和SaaS

1. SaaS:Software-as-a-Service(软件即服务)   提供给客户的服务是运营商运行在云计算基础设施上的应用程序,用户可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基础设施,包括网络、服务器、操作系统、存储等等; 2. PaaS:Platf...

2019-03-04 20:01:00

阅读数 1

评论数 0

原创 【Linux】解决"no member named 'max_align_t'

编译遇到错误: /usr/bin/../lib/gcc/x86_64-linux-gnu/5.4.1/../../../../include/c++/5.4.1/cstddef:51:11: error: no member named 'max_align_t' in th...

2018-10-09 14:55:00

阅读数 8

评论数 0

原创 【神经网络】Dependency Parsing的两种解决方案

一、Transition-based的依存解析方法 解析过程:首先设计一系列action, 其就是有方向带类型的边,接着从左向右依次解析句子中的每一个词,解析词的同时通过选择某一个action开始增量构建依存树, 直到句子中的词解析完. 优点:解析过程是线性的, operations步骤...

2018-10-08 09:55:00

阅读数 13

评论数 0

原创 【Base】死锁产生的四个必要条件

死锁产生的四个必要条件 互斥条件:资源是独占的且排他使用,进程互斥使用资源,即任意时刻一个资源只能给一个进程使用,其他进程若申请一个资源,而该资源被另一进程占有时,则申请者等待直到资源被占有者释放。 不可剥夺条件:进程所获得的资源在未使用完毕之前,不被其他进程强行剥夺,而只能由获得该资源的...

2018-09-27 10:35:00

阅读数 1

评论数 0

原创 【计算机网络】OSI七层模型图解

1、物理层 建立、维护、断开物理连接。(由底层网络定义协议) 2、数据链路层 建立逻辑连接、进行硬件地址寻址、差错校验等功能。(由底层网络定义协议) 将比特组合成字节进而组合成帧,用MAC地址访问介质,错误发现但不能纠正。 3、网络层 进行逻辑地址寻址,实现...

2018-09-17 09:59:00

阅读数 2

评论数 0

原创 【数据库】分库分表策略

关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间。 数据库分布式核心内容无非就是...

2018-09-08 12:49:00

阅读数 2

评论数 0

原创 【数据库】事务的四大特性

⑴ 原子性(Atomicity)   原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,事务的操作如果成功就必须要完全应用到数据库,如果操作失败则不能对数据库有任何影响。 ⑵ 一致性(Consistency)   一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也...

2018-09-08 12:42:00

阅读数 2

评论数 0

原创 【数据库】索引的优点和缺点

1. 数据库索引: 索引就像是书的目录,是与表或视图关联的磁盘上结构,可以加快从表或视图中检索行的速度。索引中包含由表或视图中的一列或多列生成的键。这些键存储在一个结构(BTree)中,使SQL可以快速有效地查找与键值关联的行。 2.为什么要建立索引,即索引的优点: ①建立索引的列可以保证行...

2018-09-08 12:38:00

阅读数 1

评论数 0

原创 【Java】类加载过程

JVM把class文件加载到内存,并对数据进行校验、解析和初始化,最终形成JVM可以直接使用的Java类型的过程。 类加载的过程主要分为三个部分: 加载 链接 初始化 而链接又可以细分为三个小部分: 验证 准备 解析 ...

2018-09-08 11:49:00

阅读数 2

评论数 0

原创 【LeetCode】二叉搜索树的前序,中序,后续遍历非递归方法

前序遍历 public List<Integer> preorderTraversal(TreeNode root) { ArrayList<Integer> list = new ArrayList<Integer>(); ...

2018-09-06 17:27:00

阅读数 2

评论数 0

原创 【LeetCode】LRU Cache

设计和实现一个LRU (最近最少使用) 缓存机制。它应该支持以下操作: 获取数据get和 写入数据put package letcode; import java.util.HashMap; import java.util.Map; /** * 双向链表+HashMap ...

2018-09-05 09:12:00

阅读数 2

评论数 0

原创 【Java】设计模型-五种单例模型

一. 什么是单例模式 只需要某个类同时保留一个对象,不希望有更多对象,此时,我们则应考虑单例模式的设计。 单例模式的主要作用是保证在Java程序中,某个类只有一个实例存在。 单例模式有很多好处,它能够避免实例对象的重复创建,不仅可以减少每次创建对象的时间开销,还可以节约内存空间; 能够避免...

2018-09-04 08:50:00

阅读数 2

评论数 0

原创 【Java】的四种引用的区别

强引用:如果一个对象具有强引用,它就不会被垃圾回收器回收。即使当前内存空间不足,JVM 也不会回收它,而是抛出 OutOfMemoryError 错误,使程序异常终止。如果想中断强引用和某个对象之间的关联,可以显式地将引用赋值为null,这样一来的话,JVM在合适的时间就会回收该对象 。软引用:在...

2018-09-04 00:02:00

阅读数 1

评论数 0

原创 【网络】TCP和UDP的区别以及TCP的三次握手四次释放

一、两者区别 1.TCP面向连接的运输层协议,UDP无连接 2.TCP是可靠交付,UDP是尽最大努力交付 3.TCP面向字节流,UDP面向报文 4.TCP是点对点连接的,UDP一对一,一对多,多对多都可以 5.TCP适合用于网页,邮件等,UDP适合用于视频,语音广播等 TCP(Tr...

2018-08-21 10:30:00

阅读数 1

评论数 0

原创 【数据库】数据库负载均衡

解决方案:使用分布式数据库,引入中间件实现负载均衡,我们先把操作发给这个中间件管家,然后管家通过识别,哦~原来你要进行select操作,那么我就把你这个请求发给master,又来一个原来你需要进行的是插入insert的操作,那么我就把你这个请求发给slave,当如果有多个slave的时候,我就通过...

2018-08-17 10:17:00

阅读数 1

评论数 0

原创 【算法】排序算法总结,手写快排,归并,堆排序算法

算法复杂度 相关概念: 稳定:如果a原本在b前面,而a=b,排序之后a仍然在b的前面。 不稳定:如果a原本在b的前面,而a=b,排序之后 a 可能会出现在 b 的后面。 时间复杂度:对排序数据的总的操作次数。反映当n变化时,操作次数呈现什么规律。 空间复杂度:是指算法在计算机内执行时...

2018-08-16 16:42:00

阅读数 3

评论数 0

原创 【Java】forward & redirect 的差异

1.从地址栏显示来说 forward是服务器请求资源,服务器直接访问目标地址的URL,把那个URL的响应内容读取过来,然后把这些内容再发给浏览器.浏览器根本不知道服务器发送的内容从哪里来的,所以它的地址栏还是原来的地址. redirect是服务端根据逻辑,发送一个状态码,告诉浏览器重新去请求那...

2018-05-29 09:15:00

阅读数 2

评论数 0

原创 【Python】python3.6中实现同一行动态输出

print同时需要设置flush=True来动态显示 print("\r[{0}] {1} <- {2}".format(username,time,jdTimeFomat),end='',flush=True)   

2018-05-11 16:39:00

阅读数 1

评论数 0

原创 【Python】将python3.6软件的py文件打包成exe程序

下载pyinstaller pyinstaller 改变图标 pyinstaller -F --icon=my.ico xxx.py 采用命令行操作的办法 在cmd命令行中,输入代码: pip install pyinstaller   或者采用更新、升级的...

2018-05-11 15:58:00

阅读数 1

评论数 0

原创 【Java】分布式RPC通信框架Apache Thrift 使用总结

简介   Apache Thrift是Facebook开源的跨语言的RPC通信框架,目前已经捐献给Apache基金会管理,由于其跨语言特性和出色的性能,在很多互联网公司得到应用,有能力的公司甚至会基于thrift研发一套分布式服务框架,增加诸如服务注册、服务发现等功能。   RPC即Remot...

2018-03-23 09:59:00

阅读数 3

评论数 0

原创 【Java】加载驱动方法

1.Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver"); 2.DriverManager.registerDriver(new com.mysql.jdbc.Driver()); 3.System.se...

2018-03-20 09:46:00

阅读数 2

评论数 0

原创 【Java】Comparable和Comparator接口的区别

  Java提供了只包含一个compareTo()方法的Comparable接口。这个方法可以个给两个对象排序。具体来说,它返回负数,0,正数来表明已经存在的对象小于,等于,大于输入对象。  Java提供了包含compare()和equals()两个方法的Comparator接口。     co...

2018-03-16 20:31:00

阅读数 2

评论数 0

原创 【Java】接口(interface)VS抽象类

  接口(interface)可以说成是抽象类的一种特例,接口中的所有方法都必须是抽象的。接口中的方法定义默认为public abstract类型,接口中的成员变量类型默认为public static final。另外, 接口和抽象类在方法上有区别: 1.抽象类可以有构造方法,接口中不能有...

2018-03-09 09:19:00

阅读数 2

评论数 0

原创 【Ubuntu】PHP环境安装-phpstudy for linux版

安装: wget -c http://lamp.phpstudy.net/phpstudy.binchmod +x phpstudy.bin #权限设置sudo ./phpstudy.bin     #运行安装 用时十到几十分钟不等,安装时间取决于电脑的下载速度和配置。也可以事先下载好完...

2018-02-07 14:48:00

阅读数 8

评论数 0

原创 【Ubuntu】xrdp完美实现Windows远程访问Ubuntu 16.04

步骤一、下载TigerVNC Server软件包   下载地址:Tigervnc Deb软件包(适用于Ubuntu 16.04.1 - 64位) 步骤二、 安装TigerVNC Server软件包   1、打开终端,进入到刚刚你你下载TigerVNC Server的存放目录,我是直接下载到默...

2018-02-05 10:22:00

阅读数 2

评论数 0

原创 【系统设计】会议室预定系统房间预定系统设计

预定系统三大模块。 一个是登录模块 包括教师登录和管理员登录。 二是会议室预定展示模块 用类似日历的形式来做,给每一间的会议室设计一个日程日历表,每天按照半个小时的时间间隔划分。 三是预定模块 老师通过账号登录系统,选择某一间会议室,并且选择使用会议室的时间范围。 权限设计 其中管...

2018-02-04 19:32:00

阅读数 6

评论数 0

原创 【论文笔记】使用SPSS 进行 T Test (T检验)

从具有t值来看,你是在进行T检验。T检验是平均值的比较方法。 T检验分为三种方法: 1. 单一样本t检验(One-sample t test),是用来比较一组数据的平均值和一个数值有无差异。例如,你选取了5个人,测定了他们的身高,要看这五个人的身高平均值是否高于、低于还是等于1.70m,就需要用这...

2018-01-31 09:17:00

阅读数 2

评论数 0

原创 【Java】Java NIO

NIO 为什么要使用 NIO? NIO 的创建目的是为了让 Java 程序员可以实现高速 I/O 而无需编写自定义的本机代码。NIO 将最耗时的 I/O 操作(即填充和提取缓冲区)转移回操作系统,因而可以极大地提高速度。 流与块的比较 原来的 I/O 库(在 java.io.*中) 与 N...

2018-01-29 20:27:00

阅读数 1

评论数 0

原创 【Python】print array时array中间是省略号没有输出全部的解决方法

在开头加入: import numpy as np np.set_printoptions(threshold=np.inf)    大量元素情况 可以采用set_printoptions(threshold='nan') set_printopti...

2018-01-26 14:10:00

阅读数 2

评论数 0

原创 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法

tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 第一个参数logits:就是神经网络最后一层的输出,如果有batch的话,它的大小就是[batchsize,num_classes],单样本的话,大小就是nu...

2018-01-24 15:58:00

阅读数 3

评论数 0

原创 【TensorFlow】CNN

tf.nn.conv2d 这个函数的功能是:给定4维的input和filter,计算出一个2维的卷积结果。函数的定义为: def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_...

2018-01-23 15:19:00

阅读数 1

评论数 0

原创 【TensorFlow】TF-tf.nn.dropout

官方的接口是这样的 tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 根据给出的keep_prob参数,将输入tensor x按比例输出。 默认情况下, 每个元素保存或丢弃都是独立的。 x ...

2018-01-23 11:25:00

阅读数 1

评论数 0

原创 【TensorFlow】tf.nn.embedding_lookup函数的用法

tf.nn.embedding_lookup函数的用法主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup(tensor, id):tensor就是输入张量,id就是张量对应的索引,其他的参数不介绍。 例如: import tensorflow as tf; ...

2018-01-23 10:50:00

阅读数 2

评论数 0

原创 【TensorFlow】学习笔记

name_scope 是给op_name加前缀 variable_scope是给get_variable()创建的变量的名字加前缀。 tf.train.Saver函数 用于保存模型,以后再用就可以直接导入模型进行计算 tf.global_variables_initializer() 将...

2018-01-19 10:19:00

阅读数 1

评论数 0

原创 【Tensorflow】设置显存自适应,显存比例

用惯了theano.再用tensoflow发现一运行显存就满载了,吓得我吃了一个苹果。用天朝搜索引擎毛都搜不到,于是翻墙找了下问题的解决方法,原来有两种 按比例 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memo...

2018-01-17 10:13:00

阅读数 1

评论数 0

原创 【论文笔记】Training Very Deep Networks - Highway Networks

目标: 怎么训练很深的神经网络 然而过深的神经网络会造成各种问题,梯度消失之类的,导致很难训练 作者利用了类似LSTM的方法,通过增加gate来控制transform前和transform后的数据的比例,称为Highway network 至于为什么会有效...大概和LSTM会有效的原因一...

2018-01-12 09:50:00

阅读数 2

评论数 0

原创 【论文笔记】Progressive Neural Networks 渐进式神经网络

Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的。思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务。 为了不忘记之前的任务,他们的方法简单暴力:对所有的之前任务的网络,保留并且fix,每次有一个新任务就新建一...

2018-01-11 14:50:00

阅读数 3

评论数 0

提示
确定要删除当前文章?
取消 删除