自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 真正的完全图解Seq2Seq Attention模型

转载:真正的完全图解Seq2Seq Attention模型 本文通过图片,详细地画出了seq2seq+attention模型的全部流程,帮助小伙伴们无痛理解机器翻译等任务的重要模型。 seq2seq 是一个Encoder–Decoder 结构的网络,它的输入是一个序列,输出也是一个序列, En...

2019-10-16 21:27:08 63 0

转载 numpy.linalg.norm

1、linalg=linear(线性)+algebra(代数),norm则表示范数。 2、函数参数 x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False) ①x: 表示矩阵(也可以是一维) ②ord:范数类型 向量的范数...

2019-07-14 23:42:49 372 0

转载 Numpy中的axis

Numpy操作中的axis 这是我参考的连接numpy模块中的axis理解 最近发现,numpy的很多操作都是和axis联系在一起的,以前只是遇到了稍微记一下,过后又忘了,这次做好笔记,加深理解。 首先为什么会有axis这个概念? 因为在numpy模块中,大多数处理的是矩阵或者多维数组,同时...

2019-07-07 16:48:42 38 0

原创 吴恩达机器学习课程作业 Exercise 1:Linear Regression

吴恩达机器学习课程作业 Exercise 1:Linear Regression线性回归编程作业新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表...

2019-06-23 16:41:54 207 0

转载 Ansible常用模块介绍

转自:Ansible常用模块介绍 ansible 默认提供了很多模块来供我们使用。在 Linux 中,我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块,通过 ansible-doc -s 模块名 又可以查看该模块有哪些参数可以使用。 官网文档:http:...

2019-04-25 16:17:21 36 0

转载 机器学习——极大似然估计与贝叶斯估计

转自:机器学习——极大似然估计与贝叶斯估计 极大似然估计 极大似然估计是频率派提出的参数的点估计方法。 基于参数theta是固定的这一条件, 即使得当前数据集D出现概率最大的参数就是实际参数。 具体求解方法就是对似然函数求导。 贝叶斯参数估计 贝叶斯参数估计是贝叶斯派提出的参数估计...

2019-03-30 13:46:03 86 0

转载 kubernetes之StatefulSet详解

转自:kubernetes之StatefulSet详解 概述 RC、Deployment、DaemonSet都是面向无状态的服务,它们所管理的Pod的IP、名字,启停顺序等都是随机的,而StatefulSet是什么?顾名思义,有状态的集合,管理所有有状态的服务,比如MySQL、MongoDB集...

2018-12-26 22:17:55 1565 0

转载 Docker Daemon

转自:Docker实战-Docker Daemon 一、修改Docker Daemon     Docker Daemon是Docker的守护进程,Docker Client通过命令行与Docker Damon通信,完成Docker相关操作     Docker Daemon有不同的修改方...

2018-08-25 11:38:18 13350 1

转载 无状态服务

一、定义 无状态服务(stateless service)对单次请求的处理,不依赖其他请求,也就是说,处理一次请求所需的全部信息,要么都包含在这个请求里,要么可以从外部获取到(比如说数据库),服务器本身不存储任何信息 有状态服务(stateful service)则相反,它会在自身保存一些数据,先...

2018-08-17 14:45:05 320 0

原创 leetcode 回文数

题目描述: 判断一个整数是否是回文数。回文数是指正序(从左向右)和倒序(从右向左)读都是一样的整数。 示例 1: 输入: 121 输出: true 示例 2: 输入: -121 输出: false 解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个...

2018-08-01 21:58:11 189 0

原创 leetcode 字符串转整数 (atoi)

题目描述: 实现 atoi,将字符串转为整数。 在找到第一个非空字符之前,需要移除掉字符串中的空格字符。如果第一个非空字符是正号或负号,选取该符号,并将其与后面尽可能多的连续的数字组合起来,这部分字符即为整数的值。如果第一个非空字符是数字,则直接将其与之后连续的数字字符组合起来,形成整数。 ...

2018-07-28 21:45:25 106 0

原创 重启之战

毕业两年,工作两年,离开ACM已经很久了,心中满是怀念。 两年的时间做了很多事情,在人生的路上不断摸索,不断成长,这些收获对我而言十分珍贵,人、事、学业、生活,我都将不断的努力,怀着炽热的心,不断前行! 打算重新开始更新自己的博客,一方面做些自己喜欢的事情,更新一些leetcode或者牛客网上...

2018-07-27 23:25:31 130 1

转载 Docker Machine讲解

本文转发自:Docker Machine 简介 本文在Docker Machine几个使用场景上讲的比较好,能很好的理解Docker Machine的作用,另外也涉及了如何操作远程机器上的docker daemon,并通过TLS加密。 Docker Machine 是 Docker 官方提供的...

2018-07-27 21:56:44 157 0

原创 ssh和ssl的区别

官方原文写的比较清楚:SSH (Secure Shell) and SSL (Secure Sockets Layer) can both be used to secure communications across the Internet. This page tries to explai...

2018-07-12 14:29:18 767 0

原创 二叉树后继

二叉树后继如果有指向父亲的结点,则:1.如果当前结点有右儿子,或者当前结点是根结点,则后继结点为右子树的最左叶节点; 2.否则,如果当前结点是父结点的左儿子,则后继结点就是父结点;(其实是第三种情况的一个特例,即自己是第0代祖先,返回第一代祖先) 3.否则,向上遍历,直到n-1代祖先是n代祖先的左...

2017-07-21 21:48:13 339 1

原创 Good Bye 2016

一年多没有搞ACM了,怀念原来沉浸在ACM的每时每刻,怀念它带给我的点点滴滴 --序言 闲来无事想重温一下,发现思维有些卡顿了,以后还是要多做做cf,开拓思维。 C题: 题意:Limak参加了N场cf比...

2017-01-08 14:29:23 364 0

原创 awk统计目录下最大的文件

首先简单介绍一下,awk如何使用外部变量: awk中使用shell中的变量 一: "'$var'" 这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如: var="test" a...

2017-01-04 13:34:58 834 0

原创 Linux常用管道命令

1.cut,将一行内的数据进行分解 cut -d '分隔符' -f fields cut -c 字符范围 -f 取出第几段的意思 ,从1开始 例:echo $PATH | cut -d ':' -f 3,5 export | cut -c 12- ...

2016-10-15 16:38:11 1141 0

原创 Linux文件目录操作相关命令

查看文件内容命令: 1.cat 从第一行开始显示文件内容 -b 列出行号,除空白行 -n,列出行号,包括空白行 -A 列出所有的特殊字符2.tac 从最后一行开始反过来显示3.nl 添加行号显示 -b a,空行也会列出行号 -b t,空行不会列出行号,默认 -n ln,行号在最左边显...

2016-09-25 17:26:10 368 0

原创 Codeforces Round #368 (Div. 2)

C - Pythagorean Triples 题意:如何构造勾股数 设 (a,b,c) 是勾股数,当 a 为大于 1 的奇数 2n+1 时, b=2n2+2n,c=2n2+2n+1 ,当 a为大于 4 的偶数 2n 时, b=n2−1,c=n2+1 。D - Persistent Book...

2016-08-29 15:21:13 362 0

原创 hadoop划分为多个输出文件

现在我们见到的MapReduce作业的输出都是一组文件,那如果我想输出多组文件怎么办,比如说我想统计每个国家的专利情况,想以国家名作为文件名来输出。我们可以使用MultipleOutputFormat,它内部有一个方法generateFileNameForKeyValue,只要Override他,...

2016-03-28 15:14:49 996 0

原创 BloomFilter

BloomFilter是一个大数据处理的算法,它用来判断某个元素是否在集合中。它在空间和时间效率上很高,但是存在移动的误报率。如果返回false,说明元素肯定不在集合中,也就是说不会漏报;但如果返回true,怎可能存在错误。BloomFilter算法: 1)位数组: 假设Bloom Fi...

2016-03-26 15:43:14 309 0

原创 链接hadoop作业

有时候一个复杂的任务不能只用一个MapReduce作业完成,需要分解成多个子任务,每个子任务是一个单独的MapReduce作业。这个时候就需要将多个MapReduce作业连接起来让你真正明白什么是MapReduce组合式,迭代式,链式 多个mapreduce工作相互依赖处理方法完整实例(JobC...

2016-03-25 17:19:36 390 0

原创 Hadoop使用DATAJOIN软件包链接不同来源的数据

具体参见《Hadoop in action》 这里说一下几个问题:这几个问题在stackoverflow 得到了解决 (1)如何输入多个文件 将多个文件放入一个文件夹,输入路径写文件夹的路径 MultipleInputs.addInputPath(job, new Path(args[0]),...

2016-03-24 22:26:48 344 0

原创 MapReduce实现TopK

Hadoop inaction上面的练习。 刚开始考虑,每个分片应该是在所有的记录处理完之后,把这个分片的前K大输出给reduce,但是map函数是每个记录调用一遍,把怎么在所有记录调用完之后处理呢? setup(),此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关...

2016-03-23 21:58:26 2479 0

原创 Hadoop 使用combiner提升性能

combiner的工作是在mapper结束之后,在本机上先进行的reducer操作,这样可以减轻数据网络传输的负担,提高性能。比如wordcount程序,mapper输出的是< key,1>这样的简直对,表示每个单词出现了一次,然后进行reduce,在数据量非常大的情况下,非常多的相同...

2016-03-23 17:04:06 401 0

原创 Hadoop模板(新API)

跟原来的API稍有不同,其实也差不多import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache...

2016-03-22 17:01:51 239 0

原创 Hadoop程序基础模板

输入文件格式为:X,Y,表示X引用Y; 本程序目的为将引用数据进行倒排,对于每一个专利找到引用他的那些专利import java.io.IOException; import java.util.Iterator;import org.apache.hadoop.conf.Configurati...

2016-03-22 17:00:45 195 0

原创 第一个Hadoop程序WordCount

首先说一下在eclipse下搭建Hadoop开发环境 准备工具:eclipse ,hadoop插件,注意版本要一致 eclipse可以去官网下载 插件我上传了一个,hadoop-eclipse-plugin-2.7.2.jar 将插件cp到eclipse/plugins下面 Windo...

2016-03-19 16:42:37 265 0

转载 Hadoop集群搭建

在这里先感谢下面几篇博客: 一步步教你Hadoop多节点集群安装配置 Linux下安装搭建Hadoop集群 SSH原理与运用 我的安装过程和其中遇到的问题都是参考上面的几篇博客,还有我上一篇博客中提到的 yarn详解 。 既然有上面详细的搭建过程,我这就不再详述了,简单的记录一下,以便自...

2016-03-19 11:31:54 260 0

转载 yarn详解

最近搭建了hadoop集群,启动之后,发现只有NameNode,ResourceManager,SecondaryNameNode并没有JobTracker,所以发现了yarn,就可以解释了 下面内容转自:yarn详解 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资...

2016-03-11 11:21:37 265 0

原创 Codeforces Round #343 (Div. 2)C. Famil Door and Brackets DP

转自:Codeforces Round #343 (Div. 2) 解题报告 题意:给你一个由括号组成的字符串,长度为m,现在希望获得一个长度为n(全由括号组成)的字符串,0<=n-m<=2000这个长度为n的字符串要求有两个性质:就是任意前缀,左括号数量大于右括号数量 字符串中左...

2016-02-27 11:13:10 303 0

原创 Codeforces Round #343 (Div. 2)D - Babaei and Birthday Cake 线段树

D. Babaei and Birthday CakeAs you know, every birthday party has a cake! This time, Babaei is going to prepare the very special birthday party’s cake...

2016-02-25 17:28:08 619 0

转载 python分布式进程

转自:分布式进程 在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把...

2016-01-25 12:04:05 552 0

转载 python ThreadLocal

在多线程环境下,每个线程都有自己的数据。一个线程使用自己的 局部变量比使用全局变量好,因为局部变量只有线程自己能看见,不会影响其他线程,而全局变量的修改必须加锁。但是局部变量也有问题,就是在函数调用的时候,传递起来很麻烦: 如果用一个全局dict存放所有的Student对象,然后以thread...

2016-01-24 16:04:04 571 0

转载 python多进程

Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。子进程永远返回0,而父进程返回子进程的ID。这样做的理...

2016-01-23 16:41:04 387 0

原创 pyhton序列化

#coding=utf-8 import pickle d=dict(name='Bob',age=20,score=100) f=open('in1.txt','wb') pickle.dump(d,f) f.close() f=ope...

2015-12-22 22:21:50 323 0

原创 python flask框架

简单介绍请参考:廖雪峰的网站(Web框架)__author__ = 'qingjin' from flask import Flask from flask import requestapp=Flask(__name__) @app.route('/',m...

2015-11-19 22:15:00 413 0

转载 python urllib模块

urllib提供了一系列用于操作URL的功能。Geturllib的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应:方法是用urlopen函数,它的参数是url字符串或者是Request对象,他返回一个HTTPResponse对象 例如...

2015-11-18 22:36:46 960 0

原创 python多线程编程

python提供了几个用于多线程编程的模块,thread,threading,Queue等。其中thread模块提供了基本的线程和锁的支持,threading提供了更高级别的功能,Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。 因为thread有下面几个缺点,所以建议...

2015-11-17 21:06:33 324 0

提示
确定要删除当前文章?
取消 删除