往者不可谏，来者犹可追

1.定义标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。2.出现过拟合的一些原因（1）建模样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表

一、roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)灵敏度，Sensi

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1、Bagging (bootstrap aggregating)Bagging即套袋法，其算法过程如

熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i)。H(p,q)我们称之为“交叉熵”。比如含有4个字母(

Consider the vector x⃗ =(1,ε)∈R2 where ε>0 is small. The l1 and l2 norms of x⃗ , respectively, are given by||x⃗ ||1=1+ε,  ||x⃗ ||22=1+ε2Now say that, as part of some regularizati

一.static关键字的用途　　在《Java编程思想》P86页有这样一段话：　　“static方法就是没有this的方法。在static方法内部不能调用非静态方法，反过来是可以的。而且可以在没有创建任何对象的前提下，仅仅通过类本身来调用static方法。这实际上正是static方法的主要用途。”　　这段话虽然只是说明了static方法的特殊之处，但是可以看出static关键

1.为什么要使用线程池在java中，如果每个请求到达就创建一个新线程，开销是相当大的。在实际使用中，服务器在创建和销毁线程上花费的时间和消耗的系统资源都相当大，甚至可能要比在处理实际的用户请求的时间和资源要多的多。除了创建和销毁线程的开销之外，活动的线程也需要消耗系统资源。如果在一个jvm里创建太多的线程，可能会使系统由于过度消耗内存或“切换过度”而导致系统资源不足。为了防止资源不足，服务

以下是关于HashCode的官方文档定义：hashcode方法返回该对象的哈希码值。支持该方法是为哈希表提供一些优点，例如，java.util.Hashtable 提供的哈希表。     hashCode 的常规协定是：   在 Java 应用程序执行期间，在同一对象上多次调用 hashCode 方法时，必须一致地返回相同的整数，前提是对象上 equals 比较中所

1、HashMap是非线程安全的，HashTable是线程安全的。2、HashMap的键和值都允许有null值存在，而HashTable则不行。3、因为线程安全的问题，HashMap效率比HashTable的要高。一、HashMap的内部存储结构Java中数据存储方式最底层的两种结构，一种是数组，另一种就是链表，数组的特点：连续空间，寻址迅速，但是在删除或者添加元素的时

集合是一组复合元素的容器，用来存储，检索，控制聚合数据并提供它们之间的通信方法。java的集合框架提供了表示和操控集合的统一架构。所有的集合框架都包含下面三个方面：接口：即集合的抽象数据结构。接口允许我们独立地操纵集合而不用考虑集合的具体实现实现：即接口的具体实现类。从本质上来讲，它们是可重用的数据结构算法：即在实现了集合接口的对象上执行有用的计算，比如

人工智能（AI）是近两年来最热门的词之一了，自16年Google DeepMind的AlphaGo打败了世界围棋大师李世石后，人们在惊叹之余，也意识到人工智能时代的正式开始。从此，人工智能、机器学习和深度学习就成为了热门词汇，而它们的关系如下图1所示。人工智能的概念起源于1956年，所谓的人工智能就是给机器赋予人的智能，让机器能够像人一样地思考问题，做出决策。而一种较为有效的、

什么是数据一致性?  在数据有多分副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。 实践中，导致数据不一致的情况有很多种，表现样式也多种多样，比如数据更新返回操作失败，事实上数据在存储服务器已经更新成功。CAP定理  CAP定理是2000年，由 Eric Brewer 提出来的。B

问题描述：假设一个探险家被困在了地底的迷宫之中，要从当前位置开始找到一条通往迷宫出口的路径。迷宫可以用一个二维矩阵组成，有的部分是墙，有的部分是路。迷宫之中有的路上还有门，每扇门都在迷宫的某个地方有与之匹配的钥匙，只有先拿到钥匙才能打开门。请设计一个算法，帮助探险家找到脱困的最短路径。如前所述，迷宫是通过一个二维矩阵表示的，每个元素的值的含义如下 0-墙，1-路，2-探险家的起始位置，

1. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace management）和块/存储管理服务（block/storage management）。1.1 命名空间管理HDFS的命名空间包含目录、文件和块。命名空间管理：是指命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文

Example:LFUCache cache = new LFUCache( 2 /* capacity */ );cache.put(1, 1);cache.put(2, 2);cache.get(1); // returns 1cache.put(3, 3); // evicts key 2cache.get(2); // returns -1 (

问题描述：为最近最少使用（LRU）缓存策略设计一个数据结构，它应该支持以下操作：获取数据（get）和写入数据（set）。获取数据get(key)：如果缓存中存在key，则获取其数据值（通常是正数），否则返回-1。写入数据set(key, value)：如果key还没有在缓存中，则写入其数据值。当缓存达到上限，它应该在写入新数据之前删除最近最少使用的数据用来腾出空闲位置。

我们在访问数据的时候速度肯定是内存大于磁盘的，这样的话为什么不全用内存呢？原因大家自己考虑下就行了，所以权衡下来还是需要用硬盘的，那么为了实现数据的快速插入和查询，存储应该怎么设计呢？学过oracle的同学都应该知道，要使一个表对查询的响应比较快，那么最主要的手段就是索引，但是索引多了就会影响数据插入的速度，这也是一种平衡，下面我们将分析lsm，看看它是设计了个完美的解决方案吗？在讨论这个

给定一个字符串 S1，将其递归地分割成两个非空子字符串,从而将其表示为二叉树。下面是s1 = "great"的一个可能表达： great / \ gr eat / \ / \g r e at / \ a t在攀爬字符串的过程中，我们可以选择其中任意一个非叶节点，然后交换该节点的两个

问题描述有n个气球，编号为0到n-1，每个气球都有一个分数，存在nums数组中。每次吹气球i可以得到的分数为 nums[left] * nums[i] * nums[right]，left和right分别表示i气球相邻的两个气球。当i气球被吹爆后，其左右两气球即为相邻。要求吹爆所有气球，得到最多的分数。样例给出 [4, 1, 5, 10]返回 270nu

一、基本变换：层 一般的神经网络是由一层一层堆叠而成的，但是每层究竟在做啥呢？ 我从三个方面述说一下：数学公式Y = a ( W * X + b )         其中Y是输出量，X是输入量，a（）是一个激活函数，W是权重矩阵，b是偏置向量。每一层都是通过该公式简单的得到输出Y。数学理解 通过如下5种对输入空间（输入向量的集合）的操作，完成

1 如何调用他人的远程服务？由于各服务部署在不同机器，服务间的调用免不了网络通信过程，服务消费方每调用一个服务都要写一坨网络通信相关的代码，不仅复杂而且极易出错。如果有一种方式能让我们像调用本地服务一样调用远程服务，而让调用者对网络通信这些细节透明，那么将大大提高生产力。要让网络通信细节对使用者透明，我们自然需要对通信细节进行封装，我们先看下一个RPC调用的流程：

购物车相当于现实中超市的购物车，不同的是一个是实体车，一个是虚拟车而已。用户可以在购物网站的不同页面之间跳转，以选购自己喜爱的商品，点击购买时，该商品就自动保存到你的购物车中，重复选购后，最后将选中的所有商品放在购物车中统一到付款台结账，这也是尽量让客户体验到现实生活中购物的感觉。服务器通过追踪每个用户的行动，以保证在结账时每件商品都物有其主。     购物车的功能包括以下几项：n    

NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组

InsertInserting data into table from queriesStandard syntax:INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement Hive extension

TCP流量控制如果发送方把数据发送得过快，接收方可能会来不及接收，这就会造成数据的丢失。所谓流量控制就是让发送方的发送速率不要太快，要让接收方来得及接收。利用滑动窗口机制可以很方便地在TCP连接上实现对发送方的流量控制。从图中可以看出，B进行了三次流量控制。第一次把窗口减少到 rwnd = 300 ，第二次又减到了 rwnd = 100 ，最后减到 rwnd = 0 ，

Question：给你N个数，有两种操作：1：给区间[a,b]的所有数增加X2：询问区间[a,b]的数的和。输入描述：第一行一个正整数n，接下来n行n个整数，再接下来一个正整数Q，每行表示操作的个数，如果第一数是1，后接3个正整数，表示在区间[a,b]内每个数增加X,如果是2，表示操作2询问区间[a,b]的和是多少。输入样例：55 4 3 2 12

首先提出一个问题： 给你n个数，有两种操作：1：给第i个数的值增加X2：询问区间[a,b]的总和是什么？输入描述输入文件第一行为一个整数n，接下来是n行n个整数，表示格子中原来的整数。接下一个正整数q，再接下来有q行，表示q个询问，第一个整数表示询问代号，询问代号1表示增加，后面的两个数x和A表示给位置X上的数值增加A，询问代号2表示

1.三次握手TCP是面向连接的，无论哪一方向另一方发送数据之前，都必须先在双方之间建立一条连接。在TCP/IP协议中，TCP协议提供可靠的连接服务，连接是通过三次握手进行初始化的。三次握手的目的是同步连接双方的序列号和确认号并交换 TCP窗口大小信息。第一次握手： 建立连接。客户端发送连接请求报文段，将SYN位置为1，Sequence Number为x；然后，客户端进入SYN_SE

一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对K/n个关键字重新映射，其中K是关键字的数量，n是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对所有关键字进行重新映射。分布式缓存问题一个网站随着流量增加，服务器压力越来越大，之前直接读写数据库的方式遭遇I/O和连接数的瓶颈，于是我们引入Memcached作为缓存服务器减轻DB压力。

Alter Table1 Add  PartitionsALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...partition_spec: : PARTITION (partition

题目描述给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。输入描述:输入为两行:第一行为两个正整数n(1 ≤ n ≤ 1000)，sum(1 ≤ sum ≤ 1000)第二行为n个正整数A[i](32位整数)，以空格隔开。输出描述:输出所求的方案数

题目描述小青蛙有一天不小心落入了一个地下迷宫,小青蛙希望用自己仅剩的体力值P跳出这个地下迷宫。为了让问题简单,假设这是一个n*m的格子迷宫,迷宫每个位置为0或者1,0代表这个位置有障碍物,小青蛙达到不了这个位置;1代表小青蛙可以达到的位置。小青蛙初始在(0,0)位置,地下迷宫的出口在(0,m-1)(保证这两个位置都是1,并且保证一定有起点到终点可达的路径),小青蛙在迷宫中水平移动一个单位距

IP地址IP默认分配的子网掩码每段只有255或0A类的默认子网掩码　255.0.0.0　一个子网最多可以容纳1677万多台电脑B类的默认子网掩码　255.255.0.0　一个子网最多可以容纳6万台电脑C类的默认子网掩码　255.255.255.0　一个子网最多可以容纳254台电脑要想在同一网段，只要网络标识相同就可以了，那要怎么看网络标识呢？首先要做的是

作用：ST算法是用来求解给定区间RMQ的最值，本文以最小值为例举例：给出一数组A[0~5] = {5,4,6,10,1,12},则区间[2,5]之间的最值为1。方法：ST算法分成两部分：离线预处理 （nlogn）和 在线查询（O(1)）。虽然还可以使用线段树、树状链表等求解区间最值，但是ST算法要比它们更快，而且适用于在线查询。（1）离线预处理：运用DP思想，用于求解区间最值，并保

create table 1、1总述  CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。  EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录

问题描述给出一些Connections，即Connections类，找到一些能够将所有城市都连接起来并且花费最小的边。如果说可以将所有城市都连接起来，则返回这个连接方法；不然的话返回一个空列表。 注意事项返回cost最小的连接方法，如果cost相同就按照city1进行排序，如果city1也相同那么就按照city2进行排序。样例

HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 red

当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase是个不错的选择，那么我们对于hbase还存在下列问题：1.Column Family代表什么？2.

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来

读写者问题有读者和写者两组并发进程，共享一个文件，当两个或以上的读进程同时访问共享数据时不会产生副作用，但若某个写进程和其他进程（读进程或写进程）同时访问共享数据时则可能导致数据不一致的错误。因此要求：①允许多个读者可以同时对文件执行读操作；②只允许一个写者往文件中写信息；③任一写者在完成写操作之前不允许其他读者或写者工作；④写者执行写操作前，应让已有的读者和写者全部退出。

一、网络层1.IP协议IP协议是TCP/IP协议的核心，所有的TCP，UDP，IMCP，IGMP的数据都以IP数据格式传输。要注意的是，IP不是可靠的协议，这是说，IP协议没有提供一种数据未传达以后的处理机制，这被认为是上层协议：TCP或UDP要做的事情。1.1 IP地址在数据链路层中我们一般通过MAC地址来识别不同的节点，而在IP层我们也要有一个类似的地址标识，这就是IP地址。

大数据的特征（4V+1O）：数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出

一、人类有好奇心但不是天生的思考者大脑不是设计来思考的，而是设计为避免思考。多数时候，我们是根据经验、记忆来做解决问题或做决定。但这并不是说我们完全避免思考，我们也追求可以自行解决问题，因为这会让我们感到愉悦。前提是这个，问题不是那么难以解决，并且在我们决定要解决它之前，能稍微看到成功的曙光这也解释了为何我们要把一个项目/想法/问题细分成一系列的步骤，这样每一个步骤都不至于太难，都有成功解决的希望

Dijkstra 的全名叫 Edsger Wybe Dijkstra（艾兹赫尔·韦伯·戴克斯特拉）。大部分中国程序员如果能记住这个名字是因为学过计算最短路径的「Dijkstra 算法」，然而大部分人都难以记住正确的拼写，因为他是荷兰人，名字不符合英语的发音规则。他是几位影响力最大的计算科学的奠基人之一，也是少数同时从工程和理论的角度塑造这个新学科的人。他 的根本性贡献覆盖了很多领域，包括：编译

传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。xgboos

问题描述一组生产者进程和一组消费者进程共享一个初始为空、大小为n的缓冲区，只有缓冲区没满时，生产者才能把消息放入到缓冲区，否则必须等待；只有缓冲区不空时，消费者才能从中取出消息，否则必须等待。由于缓冲区是临界资源，它只允许一个生产者放入消息，或者一个消费者从中取出消息。问题分析1) 关系分析。生产者和消费者对缓冲区互斥访问是互斥关系，同时生产者和消费者又是一个相互协作的关系，只

进程的概念在多道程序环境下，允许多个程序并发执行，此时它们将失去封闭性，并具有间断性及不可再现性的特征。为此引入了进程(Process)的概念，以便更好地描述和控制程序的并发执行，实现操作系统的并发性和共享性。为了使参与并发执行的程序（含数据）能独立地运行，必须为之配置一个专门的数据结构，称为进程控制块(Process Control Block, PCB)。系统利用PCB来描述进程的

问题描述给出一个具有重复数字的列表，找出列表所有不同的排列。样例给出列表 [1,2,2]，不同的排列有：[ [1,2,2], [2,1,2], [2,2,1]]递归解法：利用回溯加递归的思想，每次将当前元素与待交换元素进行交换前，判断在当前元素到待交换元素之间是否存在元素与待交换元素相等。若存在，则跳过待交换元素；若不存在，则进

Softmax回归From UfldlJump to: navigation,searchContents1简介2代价函数3Softmax回归模型参数化的特点4权重衰减5Softmax回归与Logistic 回归的关系6Softmax 回归 vs. k 个二元分类器7中英文对照8中文译者简介

先考虑一个简单的例子：假设有一个vector，你的任务是统计长度小于5的string的个数，如果使用count_if函数的话，你的代码可能长成这样：1 bool LengthIsLessThanFive(const string& str) {2 return str.length()5; 3 }4 int res=count_if(vec.begin(), vec.

一 const基础如果const关键字不涉及到指针，我们很好理解，下面是涉及到指针的情况： int b = 500; const int* a = &b; [1] int const *a = &b; [2] int* const a = &b;

问题给定整数m以及n各数字A1,A2,..An，将数列A中所有元素两两异或，共能得到n(n-1)/2个结果，请求出这些结果中大于m的有多少个。 输入描述:第一行包含两个整数n,m. 第二行给出n个整数A1，A2，…，An。数据范围对于30%的数据，1 <= n, m <= 1000对于100%的数据，1 <= n, m, Ai <= 10^5输出描述:输出仅包括一行，即所求的答案思路使用字典树（Tr

由于继承Mapper基类的Map阶段类和继承Reducer基类的Reduce阶段类的运行都是独立的，并不像代码看起来那样会共享同一个Java虚拟机的资源，所以不能直接使用代码级别的全局变量。下面介绍几种在MapReduce编程中相对有效的设置全局变量的方法。1、读写HDFS文件在MapReduce框架中，Map task和Reduce task都运行在Hadoop集群的节点上，所以它们可以通过读写

（1） Hadoop 1.0第一代hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。（2） Hadoop 2.0第二代Hadoop，为克服Hadoop 1.0

概述卷积神经网络是一种特殊的深度前馈神经网络，为了避免层级之间全连接造成的参数冗余，而导致网络模型的训练依赖于参数个数的数据量；它的设计选择局部连接，符合生物神经元的稀疏响应特性（神经元的感受野，具有局部响应特性，只有某个局部区域内的刺激才能激活该神经元），这样便可大大降低网络模型的参数规模。对于卷积神经网络而言，感受野是每一层输出的特征图上的像素点，在原图像上映射的区域大小。卷积神经网络的基础模块

placement new是重载operator new的一个标准、全局的版本，它不能被自定义的版本代替（不像普通的operator new和operator delete能够被替换成用户自定义的版本）。它的原型如下：void *operator new( size_t, void *p ) throw() { return p; }首先我们区分下几个容易混淆的关键词：new、operator n

问题描述给定一棵具有不同节点值的二叉查找树，删除树中与给定值相同的节点。如果树中没有相同值的节点，就不做任何处理。你应该保证处理之后的树仍是二叉查找树。样例给出如下二叉查找树： 5 / \ 3 6 / \2 4删除节点3之后，你可以返回： 5 / \2 6 \ 4或者：

NP问题一直都是信息学的巅峰。巅峰，意即很引人注目但难以解决。在信息学研究中，这是一个耗费了很多时间和精力也没有解决的终极问题，好比物理学中的大统一和数学中的歌德巴赫猜想等。以下引用于：什么是P问题、NP问题和NPC问题P类问题的概念：如果一个问题可以找到一个能在多项式的时间里解决它的算法，那么这个问题就属于P问题。NP问题是指可以在多项式的时间里验证一个解的问题。很显然，Hamilton回路是N

概述为了让Reduce过程可以并行处理Map结果，必须对Map的输出进行一定的排序和分割，然后再交给对应的Reduce，而这个将Map输出进行进一步整理并交给Reduce的过程就成为了Shuffle。总的来说，shuffle过程包含在Map和Reduce两端中。在Map端的shuffle过程是对Map的结果进行分区（partition），排序（sort）和溢写（spill），然后将属于同一个划分的输

题目描述 给出 n 个节点，标号分别从 0 到 n - 1 并且给出一个 无向 边的列表 (给出每条边的两个顶点), 写一个函数去判断这张｀无向｀图是否是一棵树 注意事项 你可以假设我们不会给出重复的边在边的列表当中. 无向边　[0, 1] 和 [1, 0]　是同一条边， 因此他们不会同时出现在我们给你的边的列表当中。 样例 给出n = 5 并且

内存管理(Memory Management)是操作系统设计中最重要和最复杂的内容之一。虽然计算机硬件一直在飞速发展，内存容量也在不断增长，但是仍然不可能将所有用户进程和系统所需要的全部程序和数据放入主存中，所以操作系统必须将内存空间进行合理地划分和有效地动态分配。操作系统对内存的划分和动态分配，就是内存管理的概念。有效的内存管理在多道程序设计中非常重要，不仅方便用户使用存储器、提高内存利用率，还可

进程间通讯的方式：1、管道管道中还有命名管道和非命名管道之分，非命名管道只能用于父子进程通讯，命名管道可用于非父子进程，命名管道就是FIFO，管道是先进先出的通讯方式。FIFO是一种先进先出的队列。它类似于一个管道，只允许数据的单向流动。每个FIFO都有一个名字，允许不相关的进程访问同一个FIFO，因此也成为命名管。2、消息队列消息队列：是用于两个进程之间的通讯，首先在一个进程中创建一个消息队列，然

问题描述：对所有员工的当前(to_date=’9999-01-01’)薪水按照salary进行按照1-N的排名，相同salary并列且按照emp_no升序排列CREATE TABLE `salaries` (`emp_no` int(11) NOT NULL,`salary` int(11) NOT NULL,`from_date` date NOT NULL,`to_date` date

今天，在训练网络时想换一种学习策略试试，因此重新研究了一下Caffe中提供的各种学习率策略，在这里和大家聊聊我使用时的一些经验教训。我们先来看看和学习率策略有关的参数，以下的内容来自caffe.proto中：// The learning rate decay policy. The currently implemented learning rate // policies a

这篇文章是XGBoost的作者——陈天奇大神对XGBoost原理的解析，文章脉络十分清晰，环环相扣，每个部分都列举了对应的例子，帮助我们更好的理解原文，看完收获良多。1、有监督学习算法的逻辑组成要讲boosted tree，要先从有监督学习讲起。在有监督学习里面有几个逻辑上的重要组成部件，初略地分可以分为：模型，参数 和 目标函数。i. 模型和参数 模型指给定输入xi如何去预测 输出 yi。我们比

1、任务调度 任务调度是Hadoop中非常重要的一环，这个优化又涉及两个方面的内容。计算方面：Hadoop总会优先将任务分给空闲的机器，使得所有任务能公平地分享系统资源。IO方面：Hadoop会尽量将Map任务分配给InputSplit所在的机器，以减少网络IO的消耗。2、数据预处理与InputSplit的大小 MapReduce任务擅长处理少量的大数据，而在处理大量的小数据时，mapreduc

题目描述给定一个字符串source和一个目标字符串target，在字符串source中找到包括所有目标字符串字母的子串。 注意事项如果在source中没有这样的子串，返回""，如果有多个这样的子串，返回起始位置最小的子串。样例给出source = "ADOBECODEBANC"，target = "ABC" 满足要求的解  "BANC"

倒排索引：由于不是根据文档来确定文档所包含的内容，而是进行相反的操作,因而称为倒排索引--------------------------------map输出：key:单词+文档URI，value：词频-------------------------------combiner输入：key:单词+文档URI，value：词频输出：key:单词

本次我们采用在map端进行两表间的join。Reduce side join是非常低效的，因为shuffle阶段要进行大量的数据传输。Map side join是针对以下场景进行的优化：两个待连接表中，有一个表非常大，而另一个表非常小，以至于小表可以直接存放到内存中。这样，我们可以将小表复制多份，让每个map task内存中存在一份（比如存放到hash table中），然后只扫描大表：对于大表中的

问题描述：给k个字符串，求出他们的最长公共前缀(LCP)解题思路：自定义一个字典树结构，每个树节点有一个int型整数count，表示有多少个字符串经过该节点。除此之外，每个节点还有58个指针指向下一个节点，设计成58个指针，是因为‘a’与‘A’的ASCII编码相差58。我们使用字典树表示所有字符串，构造字典树的时间复杂度为O（n*length），其中n为字符串个数，le

题目描述请实现一个函数用来匹配包括'.'和'*'的正则表达式。模式中的字符'.'表示任意一个字符，而'*'表示它前面的字符可以出现任意次（包含0次）。 在本题中，匹配是指字符串的所有字符匹配整个模式。例如，字符串"aaa"与模式"a.a"和"ab*ac*a"匹配，但是与"aa.a"和"ab*a"均不匹配解题思路分析：递归实现每次分别在str 和pattern中取一个字符进行匹配，

题目描述输入一个整数n，求从1到n这n个整数的十进制表示中1出现的次数。例如输入12，从1到12这些整数中包含1的数字有1，10，11和12，1一共出现了5次。解题思路考虑将n的十进制的每一位单独拿出讨论，每一位的值记为weight。1) 个位从1到n，每增加1，weight就会加1，当weight加到9时，再加1又会回到0重新开始。那么weight

STL空间配置器：主要分三个文件实现。1、stl_construct.h 。 这里定义了全局函数construct()和destroy()，负责对象的构造和析构。2、stl_alloc.h。文件中定义了一、二两级配置器，彼此合作，配置器名为alloc。3、stl_uninitialized.h。 这里定义了一些全局函数，用来填充(fill)或复制(copy)大块内存数据。

智能指针(smart pointer)是存储指向动态分配（堆）对象指针的类，用于生存期控制，能够确保自动正确的销毁动态分配的对象，防止内存泄露。它的一种通用实现技术是使用引用计数(reference count)。智能指针类将一个计数器与类指向的对象相关联，引用计数跟踪该类有多少个对象共享同一指针。每次创建类的新对象时，初始化指针并将引用计数置为1；当对象作为另一对象的副本而创建时，拷贝构造函

进程和线程（1）定义进程：进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动，是系统进行资源分配和调度的一个独立单位。（包括程序段，相关数据段，和进程控制块 PCB）线程：线程是进程的一个实体，是 CPU 调度和分派的基本单位，它是比进程更小的能独立运行的基本单位。线程自己基本上不拥有系统资源, 只拥有一点在运行中必不可少的资源 (如程序计数器, 一组寄存器和栈), 但是它可与同属一

TCP三次握手和四次挥手的全过程答:三次握手：第一次握手：客户端发送syn包(syn=x)到服务器，并进入SYN_SEND状态，等待服务器确认；第二次握手：服务器收到syn包，必须确认客户的SYN（ack=x+1），同时自己也发送一个SYN包（syn=y），即SYN+ACK包，此时服务器进入SYN_RECV状态；第三次握手：客户端收到服务器的SYN＋ACK包，向服务器发送确认包AC

题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。解题思路：维持一个string，若当前元素未被访问且当前元素与前一个元素不相等时，我们将该元素加入到str

awk数据流处理工具awk脚本结构 awk ’ BEGIN{ statements } statements2 END { statements3 } ‘工作方式 1、执行begin中语句块 2、从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕 3、执行end语句块使用不带参数的print时，会打印当前行 echo -e “line1

问题描述：输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。解题思路：使用hash_map容器按顺序存储每个节点，并生成一个新的节点，不过在加入hash_map前，要先判断节点是否已经存在容器中，已判断链表是否是循环链表。同理，在遍历hash_map容器时，要用另一个容器set存储当前已

竞赛概述：本次大赛以京东商城真实的用户、商品和行为数据（脱敏后）为基础，参赛队伍需要通过数据挖掘的技术和机器学习的算法，构建用户购买商品的预测模型，输出高潜用户和目标商品的匹配结果，为精准营销提供高质量的目标群体。同时，希望参赛队伍能通过本次比赛，挖掘数据背后潜在的意义，为电商用户提供更简单、快捷、省心的购物体验。数据介绍：符号定义：S：提供的商品全集；P：候选的商品子

详细的讲述进程间通信在这里绝对是不可能的事情，而且笔者很难有信心说自己对这一部分内容的认识达到了什么样的地步，所以在这一节的开头首先向大家推荐著 名作者Richard Stevens的著名作品：《Advanced Programming in the UNIX Environment》，它的中文译本《UNIX环境高级编程》已有机械工业出版社出版，原文精彩，译文同样地道，如果你的确对在Linux下编

转载地址：http://blog.csdn.net/geekcome/article/details/6249151void的含义void即“无类型”，void *则为“无类型指针”，可以指向任何数据类型。void指针使用规范①void指针可以指向任意类型的数据，亦即可用任意数据类型的指针对void指针赋值。例如：int * pint;void

在MapReduce操作时，我们知道传递的会按照key的大小进行排序，最后输出的结果是按照key排过序的。有的时候我们在key排序的基础上，对value也进行排序。这种需求就是二次排序。Mapper任务的数据处理过程分为四个阶段：（1）Mapper任务会接收输入分片，然后不断的调用map函数，对记录进行处理。处理完毕后，转换为新的输出。（2）对map函数输出的调用分区函数，对数

1、OSI，TCP/IP，五层协议的体系结构，以及各层协议 答:OSI分层 （7层）：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。 TCP/IP分层（4层）：网络接口层、 网际层、运输层、 应用层。 五层协议 （5层）：物理层、数据链路层、网络层、运输层、 应用层。 每一层的协议如下： 物理层：RJ45、CLOCK、IEEE802.3 （中继器，集线器）

下面讲解这八个流程 Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介：这篇文档描述在hadoo

1、find文件查找查找txt和pdf文件：find . \( -name "*.txt" -o -name "*.pdf" \) -print正则方式查找txt和pdf文件：find . -regex ".*\(\.txt|\.pdf\)$"否定参数，查找所有非txt文件：find . ! -name "*.txt" -print指定搜索深度，打印出当前目录的文件

问题描述：输入一颗二叉树和一个整数，打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。解题思路：使用栈来存放后序遍历的节点，并且每当每个节点被访问两次时，才将此节点弹出栈。此时，若此节点是叶子节点，且路径和与所设置整数相等，则将结果记录在vector容器中。非递归代码：/*struct Tre

HDFS上传文件和读文件的流程：流程图：过程解析：这里描述的 是一个256M的文件上传过程 ① 由客户端 向 NameNode节点节点 发出请求②NameNode 向Client返回可以可以存数据的 DataNode 这里遵循  机架感应  原则③客户端 首先 根据返回的信息 先将 文件分块（Hadoop2.X版本 每一个block为 128M 而之前的

这是一个很深的问题，我采用逐步问答的方式来解答。试图用最简洁的语言解决整体概念上的问题。本文目的纯粹是提供对“索引采用B树结构”这个问题的一种入门概念，不涉及深入的东西。数据库索引为什么会选择B树结构？答：因为使用B树查找时，所用的磁盘IO操作次数比平衡二叉树更少，效率也更高。为什么使用B树查找所用的磁盘IO操作次数比平衡二叉树更少？答：大规模数据存储中，树节点

问题描述：开发一个简单错误记录功能小模块，能够记录出错的代码所在的文件名称和行号。 处理:1.记录最多8条错误记录，对相同的错误记录(即文件名称和行号完全匹配)只记录一条，错误计数增加；(文件所在的目录不同，文件名和行号相同也要合并)2.超过16个字符的文件名称，只记录文件的最后有效16个字符；(如果文件名不同，而只是文件名的后16个字符和行号相同，也不要合并)3.输入的文件可

题目描述：扑克牌游戏大家应该都比较熟悉了，一副牌由54张组成，含3~A，2各4张，小王1张，大王1张。牌面从小到大用如下字符和字符串表示（其中，小写joker表示小王，大写JOKER表示大王）:) 3 4 5 6 7 8 9 10 J Q K A 2 joker JOKER 输入两手牌，两手牌之间用“-”连接，每手牌的每张牌以空格分隔，“-”两边没有空格，如：4 4 4 4-joker

相较于vector的连续线性空间，list就显得复杂许多，它的好处是每次插入或删除一个元素，就配置或释放一个元素空间。因此，list对于空间的运用有绝对的精准，一点也不浪费。而且，对于任何位置的元素插入或元素移除，list永远是常数时间。      list不仅是一个双向链表，而且还是一个环状双向链表。另外，还有一个重要性质，插入操作和接合操作都不会造成原有的list迭代器失效，这在vecto

在reduce端实现两表的joinreduce side join是一种最简单的join方式，其主要思想如下：在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签（tag）,比如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段的主要任务是对不同文件中的数据打标签。

问题描述：给定一个二叉树，判断它是否是合法的二叉查找树(BST)一棵BST定义为：节点的左子树中的值要严格小于该节点的值。节点的右子树中的值要严格大于该节点的值。左右子树也必须是二叉查找树。一个节点的树也是二叉查找树。思路一：由于二叉查找树的特有性质，若我们按中序输出该树，按左子树--根--右子树的顺序输出，那么输出元素将是递增的！class Solut

问题描述：给定一棵二叉查找树和一个新的树节点，将节点插入到树中。你需要保证该树仍然是一棵二叉查找树。递归解法：class Solution {public: /** * @param root: The root of the binary search tree. * @param node: insert this node int

目前出现的相对流行的场景分类方法主要有以下三类： （1）     基于对象的场景分类：这种分类方法以对象为识别单位，根据场景中出现的特定对象来区分不同的场景；  基于视觉的场景分类方法大部分都是以对象为单位的，也就是说，通过识别一些有代表性的对象来确定自然界的位置。典型的基于对象的场景分类方法有以下的中间步骤：特征提取、重组和对象识别。 缺点：底层的错误会随着处

1.命令使用简要说明命令的作用：$whatis command更加详细的说明文档：$info command查询命令的说明文档：$man command查看程序安装路径：$which command查看程序搜索路劲：$whereis command2.文件及目录管理2.1 创建和删除创建：mkdir删除：r

1、深度强化学习强化学习是受到生物能够有适应环境的启发，以试错的机制与环境进行交互，通过最大化累积奖赏的方式来学习最优策略。而深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。 2、蒙卡罗特树蒙特卡罗树搜索大概可以被分成四步。选择(Selection)，拓展(Expansion)，模拟(Simul

1 去重复关键词，distinct    select distinct sname from student; 2 限制结果top的用法     select top 5 id from student 获取前五条记录     可以利用top来写sql分页语句 3 排序order by    select * from studen

MapReduce作业（job）是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务（task）来工作，其包括两种类型的任务：map任务和reduce任务。 有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker。Jobtracker通过调度任务在tasktracker上运行，来协调所有运行在系统上的作业