- 博客(11)
- 收藏
- 关注
RSS订阅
1原创 HIve优化策略
1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr2、explain 显示执行计划3、设置本地运行模式 set hive.exec.mode.local.auto = true hive.exec.mode.local.inputbytes.max 默认12...
2019-09-30 20:16:43
171
原创 kafka今日总结
kafka笔记:kafka是分布式的消息队列,,数据读写的服务名词有:broker:节点topic:主题,数据的标记(可以理解为一个队列)partition:分区,将同一个标记的数据平均打散成n块repartition:副本,备份数据的leader:用来提供读写服务的follower:同步数据controller:选举leaderfailover:故障转移机...
2019-08-20 23:32:53
107
原创 scala 加强级案例
下表格是部分学生信息，属性包含：姓名、性别、年龄。使用studentList集合存储以上内容，遍历studentList打印输出 创建集合boyList、girlList、girlgt18List 、top3List、girltop3List 把所有男生存入boyList ，女生存入girlList ，大于等于18岁的女生存入girlgt18List ， 年龄最大的3个学生放...
2019-08-03 18:43:02
207
原创 scala 乘法表以及金字塔案例
//1.输出9*9乘法表 for (i<-1 to 9){ for (j <- 1 to i){ print(i+ "*" +j + "="+ i * j +"\t" ) } println() } . //2. 1 to 9 map ((i) => { 1 to i m...
2019-07-30 16:04:09
1162
转载 LINUX下文本操作快捷键
1.跳到文本的最后一行：按“G”,即“shift+g”2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。3.跳到第一行的第一个字符：先按两次“g”，4.跳转到当前行的第一个字符：在当前行按“0”。5.vi加密。进入vi，输入":" + "X" 之后就提示你输入两次密码。6.文件重新载入:e!7.单行复制 将光标移...
2019-07-28 21:12:51
323
原创 HDFS命令,掌握!
HDFS的Shell客户端操作1．基本语法bin/hadoop fs 具体命令2．命令大全[root@hadoop101 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>...
2019-07-28 15:04:53
155
原创 SQL优化,划重点!!!
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is ...
2019-07-28 00:07:46
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人