面试面经
文章平均质量分 94
无影风Victorz
纸上得来终觉浅,绝知此事要躬行 https://github.com/vicotorz
展开
-
TopK 问题
问题:海量日志数据,提取出某日访问百度次数最多的那个IP分析:百度作为国内第一大搜索引擎,每天访问它的IP数量巨大,如果想一次性把所有IP数据装进内存处理,则内存容量明显不够,故针对数据太大,内存受限的情况,可以把大文件转化成(取模映射)小文件,从而大而化小,逐个处理。换言之,先映射,而后统计,最后排序。解法:具体分为以下3个步骤1.分而治之/hash映射 首先把这一天访问百度日...原创 2020-02-10 09:42:50 · 208 阅读 · 1 评论 -
一些开发中的常用命令(Maven+Linux+Git)(持续更新)
maven篇:压缩命令(tar.gz):tar czvf my.tar.gz file1 file2 ....fileN;打包命令:mvn clean install -Phadoop-2,dist -DskipTests mvn package -Dmaven.test.skip=true打印依赖树:mvn dependency:tree...原创 2018-08-25 09:02:38 · 363 阅读 · 0 评论 -
【知识梳理】Python知识梳理
https://github.com/taizilongxu/interview_python#!/usr/bin/python#-*-coding:UTF-8-*-__init__.py 相当于主文件模块Python关键字:全局变量:global 返回值的字符串表达方式:repr 一次创建整个数组:range 一次创建一个生成器:xrangexrange(stop)......原创 2019-07-13 19:47:32 · 153 阅读 · 0 评论 -
【项目】仿知乎网站项目梳理
GitHub地址:https://github.com/vicotorz/zhangdizhihu开发流程:DataBase-->Model-->Dao-->Service-->Controller-->TestSQL 建表语句:评论:commentid int(11),content te...原创 2019-07-30 23:45:09 · 1135 阅读 · 0 评论 -
Java易忘点梳理
<< 乘 >>除Collections.shuffle(array);小写转大写(相差32) c-'0'基本类型: 32位 64位 char 1 1 char* 4 8 short int 2 2 unsigned int 4 4 float 4 4 ...原创 2019-09-09 23:30:19 · 467 阅读 · 0 评论 -
Java多线程
第一章 并发编程挑战线程安全:行为与规范不一致,一个类在多线程访问下运转正常,并且访问类不需要额外的同步处理或协调并发:同时处理多个任务的能力(同时执行)并行:可以有处理多个任务的能力,但不一定同时(交替执行)上下文切换时长:Lmbench3上下文切换次数:vmstat减少上下文切换:无锁并发编程 CAS算法 使用最少线程 协程jstack查看d...............原创 2019-09-12 22:30:45 · 212 阅读 · 1 评论 -
计算机网络知识梳理
IP地址A类私有地址:10.0.0.0/8,范围是:10.0.0.0~10.255.255.255 B类私有地址:172.16.0.0/12,范围是:172.16.0.0~172.31.255.255 C类私有地址:192.168.0.0/16,范围是:192.168.0.0~192.168.255.255网络层与协议应用层(表示层 / 会话层) FTP / SMTP /..................原创 2020-02-02 12:38:54 · 368 阅读 · 0 评论 -
Hadoop权威指南:知识梳理(一)
第一章:初识HadoopMapReduce三大设计目标:为只需要短短几分钟或几个小时就可以完成的作业提供服务 运行于同一个内部有高速网络连接的数据中心内 数据中心内的计算器都是可靠的、专门的硬件提供Hadoop支持的公司:Cloudera、Hortonworks、MapR等MapReduce: input --> map --> shuffle --> r.........原创 2019-09-16 22:35:59 · 1122 阅读 · 0 评论 -
Hadoop权威指南:知识梳理(二)
第12章 关于AvroApache Avro 独立于编程语言的数据序列化系统,支持压缩、可切分意在解决Hadoop中Writable类型的不足:缺乏语言的可移植性Avro模式通常用json编写Avro有丰富的模式解析能力,读数据所用的模式不必与写数据所用的模式相同Avro定义了少量的基本数据类型,通过编写模式的方式,可以被用于构建应用特定的数据结构基本类型:.........原创 2019-09-16 23:21:50 · 553 阅读 · 0 评论