foreachwang-CSDN博客

原创 Redis为什么是单线程,而6.0要引入多线程

看这篇文章的童鞋建议先去看我的io模型的那篇再回过头看这个1,为什么redis是设计为单线程其一是因为redis的设计是io多路复用即使连接网络处理多io多路复用也可以在内存处理中被忽略其二多线程模型虽然快但他不可抱枕执行顺序,并带累了并发读写的问题,三是redis是基于内存的,多线程的是为了从分利用cpu资源.但对redis来说除了进行备份基本不会涉及到io操作数据读写,读写只发生在内存...

2020-04-23 12:08:39 1431

原创 io模型介绍

io模型主要分为bio(阻塞io)bio的缺点也很明显用户调用线程选择阻塞等待数据返回如果数据需要准备的时间很长进程会被阻塞浪费计算机性能所以出现了nio的模型nio(非阻塞io)nio确实解决了阻塞问题但是NIO频繁轮询导致的无效系统调用造成严重的性能浪费。出现问题肯定是要解决的所以出现了下面几种模型IO多路复用select/poll但其解决了频繁调用的问题却带来了用户空间和...

2020-04-23 11:52:12 144

原创 Oracle数据迁移存储过程

今天很尴尬,投了一个简历被hr说16就上大一,说我造假,哎,主要是这家公司还有我朋友老子给他们提供了很多解决方案,改了好多bug他们的项目我还都熟悉,阿西吧怎么碰到这么个辣鸡HR吐槽完毕,步入正题另一个朋友碰到了Oracle的问题 plsql他们玩过;要求,三张表联查将数据写入另一张表create or replace procedure ps_campusAimisbegin --t...

2020-04-21 18:11:34 1229

原创关于es映射hive导入其他表问题解决

昨天通过向技术大佬咨询原因是我执行引擎的问题mr执行引擎set hive.execution.engine=mr;spark执行引擎set hive.execution.engine=spark;tez执行引擎set hive.execution.engine=tez;...

2020-04-20 13:34:21 319

原创 es映射hive后想将映射的这张表数据导出到另一张表上报错如下:求大佬帮助

es映射hive后想将映射的这张表数据导出到另一张表上报错如下:求大佬帮助hive> insert into table tian2 select * from text2;Query ID = root_20200418124317_05ef6c2e-890c-4652-9630-d28dbbb09a5aTotal jobs = 1Launching Job 1 out of 1...

2020-04-18 12:57:55 482 4

昨天晚上面试,面到后边考官说你做过java那你说说HashMap为什么是先程不安全的吧,真的我知道HashMap是线程不安全的那个时候还查过,只记得是个resize(),还有1.8后HashMap引入了红黑树,这个问题一下子就蒙了,也算为大家排雷了HashMap在put的时候，插入的元素超过了容量（由负载因子决定）的范围就会触发扩容操作，就是rehash，这个会重新将原数组的内容重新hash到新...

2020-04-16 18:19:40 165

原创 Spark操作Hive踩坑实录

刚才帮朋友做他的spark模块因需求变动原来string类型的Time要转换为Timestamp类型转换完后又改需求改成Date类型后来测试左测右侧报错为找不到Java.util.date,就赶紧停了,看代码没问题后来我就想是不是包的问题加上大佬的解答,原来需要转换为java.sql.date,嘤嘤嘤明明转换Timestamp的类型的时候我就用的是java.sql的这个我都不知道,然后一测通了,...

2020-04-15 12:11:11 170

原创一道小米的面试题

一道小米的面试题一共十张牌把第一张牌拿出来,第二张牌放到最底下,第三张牌拿出来,第四张牌放到最底下,以此类推,最后牌的顺序为(1,2,3,4,5,6,7,8,9,10),求原顺序现在讲一下这道题的思路:拿到题看题的第一反应是逆向操作,下面想那个集合可以控制头尾,第一个想到的肯定是Linkedlist;so我们就用它:具体操作代码:public class pkp { public...

2020-04-12 16:29:17 146

原创大数据面试题

我自己整理的一部分大数据面试题分享给大家包含 spark flink hbase hdfs mysql hive什么的一、.hdfs写文件的步骤答案：(1)client向NameNode申请上传…/xxx.txt文件(2)NN向client响应可以上传文件(3)Client向NameNode申请DataNode(4)NN向Client返回DN1,DN2,DN3(5)Client向D...

2020-04-12 14:27:46 571

原创整理资料

最近这几天全是在找工作,发现没工作比有工作还要忙一人分饰多角,大数据实时研发工程师,数仓工程师,Java开发工程师.也碰到了很多好玩的东西,给大家分享一下最近我整理的模板吧,1:行转列sql模板selectyearmax (CASE month WHEN 1 THEN amount END)as m1,max (CASE month WHEN 2 THEN amount END)as m...

2020-04-12 14:16:50 83

原创 HIVE面试题

题目一：计算平台的每一个用户发过多少朋友圈、获得多少点赞已知，数据如下：T1：数十万行数据需求：请用sql计算出如下结果：SELECTt1.uid,count(t1.log_id),sum(a.count_like_uid)fromt1 LEFT join (select log_id,count(like_uid) as count_like_uid from t2 gr...

2020-04-12 14:00:17 557

weixin_41015768的博客