排序:
默认
按更新时间
按访问量

通过hive访问hbase中的表

在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下: 1.这里hbase中的表oss_user_label_action_data已经存在 =>...

2017-03-04 15:32:48

阅读数:1110

评论数:0

hive外部表

我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件. 1.查看hdfs系统目录/use...

2017-03-04 15:31:07

阅读数:898

评论数:1

大数据工程师面试题(七)

9. 面试问题: 1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘中的元数据应该...

2017-02-26 10:02:59

阅读数:17751

评论数:2

大数据工程师面试题(六)

3.14 1、一个Hadoop环境,整合了HBase和Hive,是否有必要给HDFS和Hbase都分别配置压缩策略?请给出对压缩策略的建议。 hdfs在存储的时候不会将数据进行压缩,如果想进行压缩,我们可以在向hdfs上传数据的时候进行压缩。 1)、  采用压缩流 //压缩文件 publi...

2017-02-26 09:28:33

阅读数:1753

评论数:0

大数据工程师面试题(五)

2)HashMap和HashTable,ArrayList和Vector,ArrayList和LinkedList的区别 1 HashMap不是线程安全的 hashmap是一个接口 是map接口的子接口,是将键映射到值的对象,其中键和值都是对象,并且不能包含重复键,但可以包含重复值。 HashMa...

2017-02-26 08:46:01

阅读数:1355

评论数:0

大数据工程师面试题(四)

2.23. 我们开发job时,是否可以去掉reduce阶段。 可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会备份。 2.25. combiner出现在那个过程 出现在map阶段的map方法后等。 2....

2017-02-19 16:29:53

阅读数:4451

评论数:4

大数据工程师面试题(三)

2.13. 简述hadoop的调度器 FIFO schedular:默认,先进先出的原则 Capacity schedular:计算能力调度器,选择占用最小、优先级高的先执行,依此类推 Fair schedular:公平调度,所有的job具有相同的资源。 2.14. 列出你开发mapred...

2017-02-19 15:39:42

阅读数:4746

评论数:0

大数据工程师面试题(二)

2.7.  用mapreduce来实现下面需求? 现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。 方法一: 运用2个job,第一个job直接用filesystem读取10个文件夹作为map输入,url做key,reduce计算url的sum...

2017-02-19 14:17:12

阅读数:2606

评论数:0

大数据工程师面试题(一)

1.   选择题 1.1.  下面哪个程序负责 HDFS 数据存储。 c)Datanode  答案 C datanode 1.2.  HDfS 中的 block 默认保存几份? a)3 份  答案 A 默认 3 份 1.3.  下列哪个程序通常与 NameNode 在一个节点启动? ...

2017-02-19 13:46:40

阅读数:7258

评论数:5

链表与二叉树

interface Link { public void add(Object data) ; public Object [] toArray() ; } class LinkImpl implements Link {  // 外部的程序只关心此类 private class Nod...

2016-10-20 07:56:17

阅读数:176

评论数:0

利用HttpClient发送post请求京东接口并将结果用POI导出为 Excel表格

package com.zhongsou.demo; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.FileRea...

2016-10-11 16:50:09

阅读数:1564

评论数:2

上传、下载和发邮件

import java.io.File; import java.io.IOException; import java.util.List; import javax.servlet.ServletException; import javax.servlet.http.Http...

2016-10-08 18:55:51

阅读数:185

评论数:0

50道JAVA基础编程练习题

【程序1】 题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子对数为多少?  程序分析: 兔子的规律为数列1,1,2,3,5,8,13,21....  public class Prog1{...

2016-09-27 19:20:38

阅读数:277

评论数:0

用POI实现导出Excel表格的后台java代码

工具类: import java.sql.Connection; import java.sql.DriverManager; public class DbUtil { private String dbUrl="jdbc:mysql://localhost:3...

2016-09-19 14:38:25

阅读数:879

评论数:0

java mail实现Email的发送,完整代码 - mjorcen

原文   http://www.cnblogs.com/mjorcen/p/4001260.htm java mail实现Email的发送,完整代码 1、对应用程序配置邮件会话 首先, 导入jar dependencies> depend...

2016-09-14 15:14:30

阅读数:1903

评论数:0

测试HttpClient访问接口并在控制台输出结果的样例

import java.io.IOException; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.ClientProtoc...

2016-09-14 11:20:15

阅读数:861

评论数:0

Mybatis应用:Sql Annotation

Mybatis使用:Sql Annotation   Mybatis使用:Sql Annotation   上节我们学习了Mybatis的入门,能够实现简单的CRUD操作,这个算是基本技能了。另外Mybatis提供了Sql的Annotation形式来控制CRUD操作,我们对于数据库的操作也就不...

2016-07-15 11:01:05

阅读数:159

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭