大数据学习!
monster++
帅的一匹
展开
-
6.17 货拉拉大数据平台开发实习面试
一面 四十分钟先从大数据框架开始问 逐个介绍Java方面回答不是很好:具体需要准备的内容: Java内存模型、Java多线程、线程之间的交互、Java集合、 Mysql事务四个隔离级别 、脏读 幻读什么的~ hive调优、hive的单点故障希望能有二面~...原创 2021-06-17 15:11:16 · 449 阅读 · 3 评论 -
携程数据开发2022留用实习面试
5.27 笔试两道题 一道Java多线程一道SQL题考得比较基础AK6.1 一面 三十分钟hadoop,对hadoop的理解wordcount的mapreduce过程Java8 streaming流hive如何将sql转化为mapreduceJava线程实现方式线程不安全的问题哪些集合是线程安全的kafka消息队列的存储数据机制mapreduce执行错误的恢复机制sql题:求前百分之二十成绩的学生算法题:如何把数组的正数负数分开hive大小表join的问题JVM内存模型J原创 2021-06-01 14:25:44 · 272 阅读 · 3 评论 -
2021.4.27 知乎数仓实习二面
简历从头到尾提问 问的比较深入 比较注重实际的实现过程首先是Java?了解什么锁?区别?HashMap的底层?JVM内存模型?垃圾回收机制? 这个问得深一条sql的具体mapreduce过程?Zookeeper的选举机制?Hive的开窗函数 lag head?Mysql底层?innodb跟MyISAM的区别?单键索引?联合索引?复合索引?HTTP和HTTPS?介绍一下项目?UDF?求互相关注的sql题?这个答得好一点多了一张表?用关联?YARN如何去HDFS上获取数据?原创 2021-04-27 16:04:41 · 158 阅读 · 0 评论 -
2021.4.23 知乎 数仓数据开发实习面试
一面一个小时 网络不是很好。。。面试官人很好!!!当场过了一面!!!虽然我觉得我答得不是很好~操作系统相关的?进程跟线程的区别?进程跟线程的资源调度?进程线程的开销的区别?计算机网络相关的?HTTP状态码分别代表什么?HTTP和HTTPS相关?HTTPS怎么实现的?HTTP的坏处?数据结构算法?各种排序算法的复杂度?快速排序的思想过程?Java?JVMGC各种代的优势劣势?JVM垃圾回收算法?标记清除?标识整理?大数据?HDFS的读写流程?shuffle阶段?H原创 2021-04-23 15:15:53 · 215 阅读 · 1 评论 -
SSH免密登录
SSH=Secure SHell什么是加密?加密分为:对称加密和非对称加密什么是对称加密?A :加密一个文件a1 通过方式f 加密成文件a2B :获取从A收到的文件a2 通过方式f 解密成文件a1对称加密有什么问题?密钥发送的安全性?A : 首先要发加密方式f(密钥)给B若f1被C截获 C即可冒充B跟A进行通信 也可以冒充A跟B进行通信原因 :A 与 B 不认识~密钥如何安全发送?什么是非对称加密?有一对密钥 f 和 f·A :加密一个文件a1 通过方式f 加密成文件a2B :原创 2021-03-19 18:32:13 · 84 阅读 · 0 评论 -
Linux Shell 面试提问
常用的五个高级命令ps -ef :标准格式显示进程df -htopiotoprpm -ivhnetstat2. 查看进程、端口号、磁盘使用查看进程:ps -ef 、top查看端口号:netstat查看磁盘使用:df -h3. Shell 脚本启动停止脚本:分发脚本:数仓层级内部导入:数仓 Mysql 导入导出:...原创 2020-12-30 19:26:37 · 255 阅读 · 1 评论 -
Hadoop-HDFS
本文关于Hadoop中的HDFSHDFS=Hadoop Distributed File System 分布式(多节点共享文件)文件系统运行在通用廉价的机器上和普通的文件系统(Linux、Windows:有目录、文件、文件夹\创建修改查看移动删除)相同 也有不同高容错(副本机制)高吞吐量 (适用于大的数据集)前提、设计目标:解决硬件错误(宕机):通过副本(默认3副本)机制(每个机器只存储文件的部分块数据),自动检测是否宕机,快速恢复流式数据访问:...原创 2020-11-12 21:37:32 · 73 阅读 · 0 评论 -
Shell~
Shell概述Shell:命令行解释器,接收命令,调用操作系统Linux内核控制硬件Shell脚本脚本格式:脚本以#!/bin/bash开头(指定解析器)echo " " 打印字符串执行脚本:sh 脚本.sh变量(使用变量时前+ $):系统变量:$ HOME、$ PWD、$ SHELL、$ USER自定义变量:定义:变量=值撤销:unset 变量声明静态变量:readonly 变量特殊变量:$n:n为数字,$0代表该脚本名称,1-9代表1-9个参数,十个以上用{}原创 2020-09-19 16:08:23 · 415 阅读 · 0 评论 -
Linux~
Linux介绍Linux( Linux is not Unix)是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。POSIX :可移植操作系统接口Linux内核->二次开发->发行版(Centos(大数据)、Ubuntu(Python))Hard Ware(硬件)->Kernal(内核)->GNU Shell->应用程序Linux安装安装VmWare(Virtual原创 2020-09-18 15:08:17 · 148 阅读 · 0 评论