2017年04月_mbshqqb

转载阿里Java面试题

1. Java有什么新特性Java语言编译器类库工具Java运行时1. 1 Java语言Lambda表达式（闭包）允许把函数作为一个方法的参数，或者把代码看成数据。[java] view plain copy Arrays.asList("a","b","d").forEach(e->System.out.prin

2017-04-26 17:25:18 888

转载堆排序算法解析

11.堆堆实际上是一棵完全二叉树，其任何一非叶节点满足性质： Key[i]=Key[2i+1]&&key>=key[2i+2] 即任何一非叶节点的关键字不大于或者不小于其左右孩子节点的关键字。堆分为大顶堆和小顶堆，满足Key[i]>=Key[2i+1]&&key>=key[2i+2]称为大顶堆，满足 Key[i]2

2017-04-26 17:12:20 352

转载 c++各类型内存占用大小计算(推荐)

/*************************一：整形 int 4字节 long int 4字节 short int 2字节 unsigned int 4字节 unsigned long in

2017-04-26 16:27:03 3884

转载大数据工程师面试题

大数据工程师面试题1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker答案 C datanode1.2. HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份 d)不确定答案 A

2017-04-25 10:21:51 3710

转载大数据时代的技术hive：hive的数据类型和数据模型

在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。　　关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可

2017-04-25 09:43:06 591

转载 Hive分区表修改表结构的问题

在使用 Alter语句修改Hive分区表结构的时候，会出现已存在的分区结构没有被修改的情况。比如说，新增了一个字段，但是向原有分区插入新增字段数据之后，查询却发现数据为 NULL，或者修改了一个字段类型，查询原有分区的时候发现数据没有被正确识别。之所以会出现这种情况，是因为 Hive对应分区表表结构的修改，默认采用了限制模式。限制模式下，修改分区表结构的时候，只会对修改后新增的分

2017-04-22 12:09:41 1842

转载 Hadoop Mapreduce分区、分组、二次排序过程详解

1、MapReduce中数据流动（1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce2、Mapred

2017-04-18 11:19:50 2307

原创 Mapreduce核心技术详解

http://www.aboutyun.com/thread-7078-1-1.htmlhttp://www.aboutyun.com/thread-7040-1-1.htmlhttp://www.aboutyun.com/forum.php?mod=viewthread&tid=7704&highlight=%BF%E7

2017-04-18 11:10:51 821

原创 combiner/Partitioner/shuffle

combiner combiner可以选择的，也是一种reduce操作，所以我们在看代码的时候可以使用： job.setCombinerClass(IntSumReducer.class);Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作。reduce计算前对相同的key做一个合并操作，那么

2017-04-18 11:08:06 483

转载 R语言数据处理包dplyr、tidyr笔记

dplyr包是Hadley Wickham的新作，主要用于数据清洗和整理，该包专注dataframe数据格式，从而大幅提高了数据处理速度，并且提供了与其它数据库的接口；tidyr包的作者是Hadley Wickham，该包用于“tidy”你的数据，这个包常跟dplyr结合使用。本文将介绍dplyr包的下述五个函数用法：筛选: filter()排列: arrange()选择: se

2017-04-17 15:53:19 2669

转载 R语言扩展包dplyr笔记

引言2014年刚到, 就在Feedly 订阅里看到RStudio Blog 介绍dplyr 包已发布 (Introducing dplyr), 此包将原本 plyr 包中的 ddply() 等函数进一步分离强化,专注接受dataframe对象, 大幅提高了速度, 并且提供了更稳健的与其它数据库对象间的接口. 既然是Hadley Wickham 的新作, 并自称a g

2017-04-17 15:03:08 906

转载 hadoop配置错误

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。1、hadoop-root-datanode-master.log 中有如下错误：E

2017-04-13 23:43:01 883 1

原创 R语言的使用

list和vector不一样，后者存储的数据为同一种mode，list可以存储不同mode的数据，一个list就像是一个json，一个包涵很多键值对的数据结构list的创建方式1) 带tag的方式：j2) 无tag的方式：j3) vector的mode参数：zlist中元素的访问：1) list_name$tag_name2) list_name[[tag_name]]3)

2017-04-10 17:42:21 916

原创 nnet参数解释

1. 查看nnet帮助文档2. 函数使用有两种方法 a. label~x1+x2+x3, dataframe 其中dataframe是拥有属性label,x1,x2,x3的数据框,label是类别标签，x1,x2,x3为输入，label~. 表示使用dataframe中除了label外的所有属性作为输入 b. X,y其中X为输入，y为与

2017-04-07 18:46:12 9623

转载 ch6 data.table目录

http://youngspring1.github.io/categories/data.table%E6%95%99%E7%A8%8B/

2017-04-07 10:00:28 290

转载 ch6.1 data.table 基础

data.table 教程1－data.table 介绍by · 2016年03月13日 · 9559 Words · ~20min reading time | 最近使用data.table这个增强包，来计算数据的聚合信息，比sql语句简单明了不是一点半点，于是想把data.table的资料翻译出来。目录：data.table 介绍语义引用主键、基于二分法

2017-04-07 09:17:08 329

转载 apply,by,eapply,lapply,mapply,rapply,tapply

https://nsaunders.wordpress.com/2010/08/20/a-brief-introduction-to-apply-in-r/what are these wondrous apply functions and how do they work? I think the best way to figure out anything in R is to

2017-04-04 23:08:09 1036

mbshqqb的博客