Java程序员集合框架面试题 Java集合框架是最常被问到的Java面试问题,要理解Java技术强大特性就有必要掌握集合框架。这里有一些实用问题,常在核心Java面试中问到。1、 什么是Java集合APIJava集合框架API是用来表示和操作集合的统一框架,它包含接口、实现类、以及帮助程序员完成一些编程的算法。简言之,API在上层完成以下几件事:● 编程更加省力,提高城程序速度和代码质量● 非关联的
win7多重网络 笔记本换了个有线网络就出现了多重网络导致上不了网了,G了一下发现安装的itunes里带的一个Bonjour程序导致的,删除相关程序服务注册表之后,还是上不了网于是用ipconfig/all命令查看一下设置,发现默认网关有两项,但在本地连接里却只能看到一项,于是用netsh命令配置一下本地连接里的IP相关信息,c
linux常用命令 一、通用命令: 1. date :print or set the system date and time 2. stty -a: 可以查看或者打印控制字符(Ctrl-C, Ctrl-D, Ctrl-Z等) 3. passwd: print or set the system date and time (用passwd -h查看) 4. logout, login: 登录she
linux文件系统 文件类型:1.普通文件 普通文件也称作常规文件,包含各种长度的字节串。核心对这些数据没有进行结构化,只是作为有序的字节序列把它提交给应用程序。应用程序自己组织和解释这些数据,通常把它们归并为下述类型之一: ◆文本文件,由ASCII字符构成。例如,信件、报告和称作脚本(Script)的命令文本文件,后者由shell解释执行。 ◆数据文件,由来自应用程序的数字型和文本
linux进程优先级、进程nice值(转载) 网络收集,自学自用~进程cpu资源分配就是指进程的优先权(priority)。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用,可以改善系统性能。还可以把进程运行到指定的CPU上,这样一来,把不重要的进程安排到某个CPU,可以大大改善系统整体性能。一、先看系统进程:首先,我想用一个简单的命令来引起这个议题。 无论在linux或者
复杂指针 右左法则----复杂指针解析因为C语言所有复杂的指针声明,都是由各种声明嵌套构成的。如何解读复杂指针声明呢?右左法则是一个既著名又常用的方法。不过,右左法则其实并不是C标准里面的内容,它是从C标准的声明规定中归纳出来的方法。C标准的声明规则,是用来解决如何创建声明的,而右左法则是用来解决如何辩识一个声明的,两者可以说是相反的。右左法则的英文原文是这样说的:The right-lef
自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符 本文转载自:http://hi.baidu.com/lzpsky/blog/item/99d58738b08a68e7b311c70d.html hadoop会对原始输入文件进行文件切割,然后把每个split传入mapper程序中进行处理,FileInputFormat是所有以文件作 为数据源的InputFormat实现的基类,FileInputFormat保存作为job输入
MapReduce 新旧API 我使用的hadoop的版本为0.20.2。Hadoop从0.20.0版本加入了新的MapReduce Java API,我之后的学习中没有额外说明,均使用的新的API。下面简单介绍一下新旧API的区别: (1)新的API倾向于使用抽象类,而不是接口。新的API中Mapper和Reducer是抽象类。 (2)新的API在org.apache.hadoop.mapreduce包和子包中,旧
MapReduce的输入输出格式 默认的mapper是IdentityMapper,默认的reducer是IdentityReducer,它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer,它根据每条记录的键进行哈希操作来分区。输入文件:文件是MapReduce任务的数据的初始存储地。正常情况下,输入文件一般是存在HDFS里。这些文件的格式可以是任意的;我们可以
Hbase分析报告 Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写Hbase是一个分散式开源资料库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable资料库的所有功能。Hbaes的目标是处理非常庞大的表,可以用普通的电脑处理超过10亿行资料,并且有数百万列元素组成的资料表。Hbase可以直接使用本地文件系统或者Hadoop
HBase技术介绍 HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapRe
save 百度搜索研发部官方博客:http://stblog.baidu-tech.com/搜索技术博客-淘宝:http://www.searchtb.com/淘宝核心系统团队博客:http://rdc.taobao.com/blog/cs/TabaoQATeam:http://qa.taobao.com业务开发测试HBase之旅一:HTable基本概念http://qa.t
Hbase表的结构 转至:http://hi.baidu.com/kayin521/blog/item/7c276207b5c029613812bb44.html逻辑视图 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Keycolumn-family1column-family2column-family3
维度表 事实表 转至:http://www.cnblogs.com/47613593/archive/2009/02/20/1394581.html维度表示你要对数据进行分析时所用的一个量, 比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析. 这样的按..分析就构成一个维度。前面的示例就可以有两个维度:类型和区域。另外每个维度还可以有子维度(称为属性),例如类别可以有子类型,产品名等
数据仓库 http://blog.csdn.net/foxnet2003/archive/2005/09/15/481830.aspx数据仓库:数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确,因为它必须在特定的时间基础上从操作环境中提取出来。数据集市:数据仓库只限于单个主题的区域,例如顾客
hive Hql 创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件(正则表达式)显示表,hi
Hadoop Shell命令 Hadoop Shell命令: 转载于:http://blog.csdn.net/kankan_summer/article/details/5695987FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkd
Hive vs HBase Hive是為簡化編寫MapReduce程序而生的,使用MapReduce做過數據分析的人都知道,很多分析程序除業務邏輯不同外,程序流程基本一樣。在這種情況下,就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據,它完全依賴於HDFS和MapReduce,Hive中的表純邏輯表,就是些表的定義等,也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉,轉換成本低,類似作用的Pig就
hbase集群安装 hbase需要在hadoop安装成功的基础上来进行,现在我们的机器安装好了hadoophadoop安装:http://blog.csdn.net/codestinity/article/details/6936654首先安装zookeeper,注意下载的zookeeper版本需要与hadoop版本相对应(同样的,只需要在namenode端进行配置,配置好后发给datanode端即可):
云计算时代:大数据泡沫正无限膨胀 转载:http://cloud.csdn.net/a/20111103/306923.html 在当今企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。大数据将挑战企业的存储架构、数据中心的基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。未来企业会将更多的TB级(1TB=1024GB)数据集用于商务智能和商务分析。到2020年,全球数据使用