大数据
鸽子古咕咕
巨鸽子
展开
-
spark中会导致shuffle操作的有以下几种算子
1、repartition类的操作:比如repartition、repartitionAndSortWithinPartitions、coalesce等2、byKey类的操作:比如reduceByKey、groupByKey、sortByKey等3、join类的操作:比如join、cogroup等原创 2021-09-13 19:32:47 · 962 阅读 · 0 评论 -
linux中grep的使用及常用参数
grep常用参数:-e :使用正则-i:忽略大小写-v:查找不包括指定内容的行-w:按单词查找-c:统计匹配次数-n:显示行号-r:递归遍历目录查找-A:显示匹配行前面多少行-B:显示匹配行后面多少行-C:显示匹配行前后多少行-include:指定匹配的文件类型-exclude:过滤不需要匹配的文件类型常用例子:多文件查询jieni:grep jieni pika.log zhongzi.log查找包含jieni又包含gui的行:grep jieni pika.log | gr原创 2021-09-13 16:51:55 · 404 阅读 · 0 评论 -
linux面试题目
1. Linux下的进程有哪三种状态?运行态,就绪态和等待态2. linux修改路由的命令routeroute:route命令是在本地 IP 路由表中显示和修改路由。tracert:tracert(跟踪路由)是路由跟踪实用程序,用于确定 IP 数据包访问目标所采取的路径。tracert 命令用 IP 生存时间 (TTL) 字段和 ICMP 错误消息来确定从一个主机到网络上其他 主机的路由。ping:ping命令可以检查网络是否连通。netstat:netstat是控制台命令,是一个监控TCP/原创 2021-09-13 16:49:19 · 441 阅读 · 0 评论 -
Hive常用函数
常用函数查询具体函数desc function 方法名;常用日期函数unix_timestamp:返回当前或指定时间的时间戳hive (default)> select unix_timestamp();unix_timestamp(void) is deprecated. Use current_timestamp instead.unix_timestamp(void) is deprecated. Use current_timestamp instead.OK_c01628原创 2021-08-05 15:02:39 · 2107 阅读 · 0 评论 -
SQL语句条件执行顺序
1.FROM2.ON3.JOIN4.WHERE5.GROUP BY6.WITH CUBE or WITH ROLLUP7.HAVING8.SELECT9.DISTINCT10.ORDER BY11.TOP原创 2021-08-03 11:00:23 · 179 阅读 · 0 评论 -
hdfs、spark、hive 相关端口号及Web UI界面
sparkmaster8989(默认8080)历史服务http://CentOS01:18080 hdfs://CentOS01:8020/directorysparkhttp://CentOS01:8080/原创 2021-07-21 20:23:32 · 3883 阅读 · 1 评论 -
Hadoop2.x与Hadoop3.x端口变化
Namenode 端口:2.x端口3.x端口namedesc504709871dfs.namenode.https-addressThe namenode secure http server address and port.500709870dfs.namenode.http-addressThe address and the base port where the dfs namenode web ui will listen on.8020982原创 2021-07-05 17:08:04 · 316 阅读 · 0 评论 -
大数据架构题库
hdfs文件写入的流程与读取的流程?HDFS集群启动的时候,运行着 , , 三个重要角色namenode、datanode、secondaryNamenode强制Namenode进入安全模式的命令是 hdfs dfsadmin -safemode enter分布式系统设计策略包括 , , 。重试机制 心跳机制 副本机制Doug Cutting所创立的项目的名称都受到其家人的启发 他创立的项目是 , , 。 Hadoop Nutch Lucene是HDFS架构中的原创 2021-05-22 15:33:27 · 2020 阅读 · 0 评论