陈姓数据科学家
wuyangcc
天气晚来秋,能饮一杯否
展开
-
Hive入门(三)之高级操作
0.hive高级应用1.Hive数据类型1.1原子数据类型数据类型长度备注Tinyint1字节的有符号整数-128~127SmallInt1字节的有符号整数-32768~32767Int4字节的有符号整数-2147483648~()+1BigInt8字节的有符号整数Boolean布尔类型true or falseFloa...原创 2020-04-20 11:01:42 · 202 阅读 · 0 评论 -
spark性能调优总结
0.性能调优大纲调优简介开发调优资源调优数据倾斜调优shuffle调优jvm调优1. 调优简介 为啥要做调优,上图已经告诉我们答案了~2. 开发调优 开发出高质量的代码,从如下几个角度去说明,当然避免使用一些性能比较低的算子,使用一些占用空间比较小的数据结构,使用一些占用体积比较小的序列化的方式等等。2.1. 避免创建重复的RDD...原创 2020-04-17 14:02:46 · 380 阅读 · 0 评论 -
TCP/IP协议
TCP/IP协议一、计算机网络体系结构分层计算机网络体系结构分层TCP/IP与OSI在分层模块上稍有区别。OSI注重“通信协议必要的功能是什么”,而TCP/IP更强调“在计算机上实现协议应该开发哪些程序”二、TCP/IP基础1、TCP/IP的具体含义TCP/IP是利用IP进行通信时所必须用到的协议群的统称。具体而言,IP与ICMP、TCP或UDP、TELNET或FTP、以及HTTP...原创 2020-03-28 13:57:04 · 549 阅读 · 0 评论