面试中必须要会的知识点

1、项目都分析过哪些业务模型

参考各个需求文档：

• 离线的报表（展示量，点击量，点击率，参与竞价数，竞价成功数，消费）
• 终端设备分析（运营商，联网方式，操作系统，客户端）
• 渠道分析
• 媒体分析
• 统一用户识别
• 数据标签化
• 用户上下文标签合并
• 图计算再次合并标签
• 把标签存入HBase，再次合并标签 --> 数据到了HBase以后，就到了精准营销部门

2、项目中的知识点

1）parquet文件存储（列式存储）

a、可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量

b、压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用不同的压缩编码。

c、只读取需要的列，支持向量运算，能够获取更好的扫描性

d、parquet 适配多种计算框架，查询引擎（Hive，Impala，Pig，IBM Big SQL）；计算框架（MapReduce，Spark，Kite，Cascading等等）；数据模型（Avro，Thrift，Protocol Buffers等）

2）Spark算子运算

Map，flatMap，filter，case，groupBy，reduceByKey等。

3、面试中最常问的问题

1）首先简单的介绍一下自己的情况（一分钟的自我介绍）

2）介绍一下项目的情况（主要想观察你对项目了解多少）

答：我们做过一个DMP项目，用户画像，根据用户社会的一些特有属性，生活的习惯和一些消费行为等信息，从而抽象出一个标签化的用户模型。通过用户的调研去了解用户，然后根据他们的目标，行为和和观点的差异，将他们分为不同的类型，从而可以做一些精准的营销。

3）你们的这个项目用到哪些技术？用的是哪些版本？

答：

hadoop：2.7.5

Spark：Spark2.0

Java：java8

Scala：Scala2.11

4）你在开发过程中遇到了哪些问题？

答：

数组越界，堆溢出，栈溢出，还有版本冲突。

5）你们开发团队有多少人并说说他们干的什么活？小团队

答：一般是6 - 7人的团队

一个人运维

一个人ETL的活和Hive

两个Spark的活

一个前端

一个领导

一个实习生

6）你在公司里干什么活？平时做的项目需求？

答：

主要是Spark的活

7）说说你的上一家公司？一定不要说上一家坏话

答：

公司的领导在我进公司的时候给了我很多的帮助，公司的人也非常的照顾我，公司还有免费提供的共享区域，有零食，咖啡等；

8）为什么要离职？

答：

公司发展挺好的，但是太烧钱了。但是呢，公司的运行还是不太规范，社保也没有给缴；

9）你说说对我们公司的认识？（小公司会问）

答：

10）你未来两到三年的规划？

答：

我想继续在大数据这块领域发展，并希望自己可以谋求一个更资深的职位。从我们的谈话中，我认为这个职位给了我学习新技能的机会，而这可以帮助我提高自己。我也希望可在在公司里担负更多的职责，我也有信心能对团队做出积极的贡献，令公司取得更多的成功。

11）你们这个项目写了多少行代码？一共多少个文件？写了多长时间？

答：

40多个文件，每个大概是70 - 100行左右

12）你们公司的集群多大，配置如何？（50个节点以内）

答：

一共18个节点

128G内存，（20 + 2 * 1T） 浪潮/戴尔/联想/IBM

20（数据盘）+2（系统）块硬盘 * 1 T（一个节点，一台机器）

13）你们公司有测试集群吗？多大？

答：

50个节点 -> 4台测试

20个节点 -> 3台测试（HA，分布式的效果）

14）每天的数据量有多大？压缩前后比例是3:1

答：

压缩前：150G左右

压缩后：40G左右

15）每天有多少条数据？

答：

5千万左右数据

16）每条数据多大？

答：

1KB左右

17）每条数据有多少个字段？有哪些字段？

答：

90个字段，用户ID，浏览器名称，日期，运营商名称，运营商ID，省份名称，城市名称，用的电脑型号，消费习惯，生活区域。我们架构的时候提前把这些设置好，以备使用；

18）你们的数据保留周期是多少？

答：

一个月

集群一定要存的下这个值：（30 * 每天的数据量 * 3个副本）

20）你们公司一天跑多少个脚本？

答：

60左右，20个是常态化的脚本

21）跑一个脚本需要多长时间？

答：

5分钟左右

3-6分钟：太快了吧 。（我们调优做得好，我们集群性能也不错）

10分钟：太慢了吧。（我们集群性能不是很好）

22）当一个项目问到了一些需求？

答：

实在说你清楚的时候，就说是同事做的。

23）必须要会的代码（具有一票否决权）

答：

手写冒泡排序

package bihuidedaima;

import java.util.ArrayList;

public class Maopaopaixu {
    public static void main(String[] args) {

       int [] n = {2,33,4,1211,55,332};
       int temp;
       for (int i = 0; i < n.length; i++){
           for (int j = 0; j < n.length - i -1 ; j ++){
               if (n[j] < n[j + 1]){
                   temp = n[j];
                   n[j] = n[j+1];
                   n[j+1] = temp;
               }
           }
       }
       for (int a : n){
           System.out.println(a);
       }


    }
}

手写wordcount

package bihuidedaima

import org.apache.spark.{SparkConf, SparkContext}

object Wordcount {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf()
    conf.setAppName(s"${this.getClass.getSimpleName}")
    conf.setMaster("local")

    val sc = new SparkContext(conf)

    val path = sc.textFile("G:\\Scala\\spark1711\\0512第十九天\\wordcount.txt")
    path.flatMap(line =>{
      line.split(",").map((_,1))

    }).reduceByKey(_+_)
//      .foreach(println(_))
      .saveAsTextFile("G:\\Scala\\spark1711\\0512第十九天\\aa.txt")
  }
}

手写单例模式

package bihuidedaima;

/**
 * 饿汉式：类加载时，静态变量就存储一个对象
 */
class Window{
    private static Window win = new Window();
    private Window(){

    }
    public static Window getInstance(){
        return win;
    }
}
public class danlimoshi { 
    public static void main(String[] args) { 
        Window window = Window.getInstance(); 
        Window window1 = Window.getInstance(); 
        System.out.println(window); 
        System.out.println(window1); 
    }
}

package bihuidedaima.单例模式;

/**
 * 懒汉式：类加载时，没有指定对象，只有在应用的时候才去创建对象
 */
class Window2{
    private static Window2 window2 = null;
    private Window2(){

    }
    public static Window2 getInstance(){
        if (window2 == null){
            window2 = new Window2();
        }
        return window2;
    }
}
public class danlimoshi2 {
    public static void main(String[] args) {

        Window2 win1 = Window2.getInstance();
        Window2 win2 = Window2.getInstance();
        System.out.println(win1);
        System.out.println(win2);

    }
}