- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 su sudo的区别
标题su和sudo的区别共同点：都是root用户权限；不同点：su只获得root权限，工作环境不变，还是在切换之前用户的工作环境；sudo是完全获得root的权限和root的工作环境。sudo:表示获取临时的root权限执行命令。sudo执行命令的流程:1、当前用户切换到root（或其他指定切换到的用户），2、以root（或其他指定的切换到的用户）身份执行命令，3、执行完成后，直接退...
2020-01-02 12:52:12
108
原创 mac命令整理
mac命令整理自己整理：sudo vim /etc/profilesource /etc/profilemvn -v 检测maven是否加入环境变量他人借鉴：clear 清空屏幕的内容percent work directarypwd 查看我们所在的目录（位置），刚打开终端的时候，默认在用户目录下。list showls 显示当前目录下的文件内容ls 可以和路径配合使用，用于...
2019-12-31 11:58:33
158
原创 spark的调优
#总体来说就以下几点： 序列化库、持久化、垃圾回收、提高并行度、广播共享数据、更有Shuffle阶段的优化等方面##一、诊断内存的消耗#1.1）、在Spark应用程序中，内存都消耗在哪了？ 1.1.1、每个Java对象都有一个包含该对象元数据的对象头，其大小是16个Byte。由于在写代码时候，可能会出现这种情况：对象头比对象本身占有的字节数更多，比如对象只有一个int的域。一般这样设计是...
2019-11-07 09:58:53
112
转载 Hive配置项的含义详解
hive.exec.script.maxerrsize：一个map/reduce任务允许打印到标准错误里的最大字节数，为了防止脚本把分区日志填满，默认是100000；hive.exec.script.allow.partial.consumption：hive是否允许脚本不从标准输入中读取任何内容就成功退出，默认关闭false；hive.script.operator.id.env.var：在...
2019-11-01 09:42:17
243
原创 scala中的《_》用法
一、scala中的《_》用法//1、方法转化为函数例如：def m1(x:Int,y:Int)=x*y val f1=m1 _//2. 集合中的每一个元素//指代一个集合中的每个元素。例如：val list=List(1,2,3,4)val list1=list.map(_ * 10)//3. 获取元组Tuple中的元素例如： val t=("hadoop",3....
2019-10-18 18:00:07
281
原创 Spark之基站停留时间topn
Spark之基站停留时间topn一、题目根据用户产生日志的信息,在哪个基站停留留时间最长lac_info.txt 这个⽂文件中存储基站信息文件组成 基站ID, 经,纬度.log 为后缀的文件中存储着日志信息文件组成:手机号,时间戳,基站ID 连接状态(1连接 0断开)在一定时间范围内,求所用户经过的所有基站所停留时间最长的Top2二、数据2.1、lac_info.txt9F36...
2019-10-10 16:35:24
381
1
原创 使用Scala来实现workcount
使用Scala来实现workcount//统计line集合中的数字个数，并取出字数前三//line = List(List("hello tom hello jerry"),List("hello xiaobai hello"),List("hello tom"))//预期效果：List((hello,5), (tom,2), (jerry,1))package WordCount_o...
2019-09-26 14:20:22
302
原创 hive的高级分组
1、with cube（2的n次方）使用场景：维度字段之间无关系底层分组实现：可以实现hive多个任意维度的查询，cube(a,b,c)则首先会对(a,b,c)进行group by，然后依次是(a,b),(a,c),(a),(b,c),(b),©,最后在对全表进行group by，他会统计所选列中值的所有组合的聚合1)、group by A,B,C with cube;-- 案例：sel...
2019-09-17 10:37:43
1353
原创 hive函数中concat与concat_ws区别
concat与concat_ws区别concat()：函数用于将多个字符串连接成一个字符串。语法：concat (str1,str2,…) ；返回值：string；特点：如有任何一个参数为null ，则返回值为 null。举例：-- 案例1：将test1中的字段拼接成一个字符串——》test1中的字段名abc下的数据也为abc，下同hive> select concat(ab...
2019-08-22 10:58:19
2216
原创 MySQL笔记
课后实例心得体会：1、别名用英文的，千万不能用中文或数字，条件语句不执行2、分组机制，是按照给的字段将相同的分为一组，不同的分到别的组，count（*）与sum（*）是统计的这一组原来由1个字段的数据切出多个字段的数据。3、外连接中，左外连接与右外连接——》连接相同数据，随后哪个连接就多加上哪个表中的数据——》连接内容指的是数据，并不是字段，字段不能通过外连接来去掉。——》例题2例题集...
2019-08-17 18:15:09
339
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人