- 博客(12)
- 收藏
- 关注
RSS订阅
原创 Linux启动命令--redis、kafka、HBase、ELK、 /proc/sys/vm/drop_caches
1.启动redis执行以下命令启动rediscd /export/servers/redis-3.2.8/srcredis-server ../redis.conf执行以下命令连接redis客户端cd /export/servers/redis-3.2.8/srcredis-cli -h node01...
2020-04-04 15:49:18
310
原创 大数据生态圈的Linux启动相关命令--zookeeper、HDFS 和 YARN、Hive、Flume、Sqoop、Impala、Azkaban、Oozie、Hue
1.集群linux环境搭建-关闭防火墙 service iptables stop #关闭防火墙 chkconfig iptables off #禁止开机启动2.zookeeper服务启动zookeeper服务： /export/servers/zookeeper-3.4.9/bin/zkServer.sh start查看启动状态： /export/servers/zooke...
2020-03-28 14:29:00
505
原创 Hive转换常用函数
1、数值函数指定精度取整函数 : round语法: round(double a, int d)返回值: DOUBLE说明: 返回指定精度d的double类型举例： hive> select round(3.1415926,4); 3.1416向下取整函数 : floor语法: floor(double a)返回值: BIGINT说明: 返回等于或者小于该double变量的最大的整数举例： hive> select floor(3.1415926); 3hive>
2020-08-18 22:03:54
3085
原创 hive讲义
数据仓库-Hive1. 数据仓库1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为：面向分析的存储系统。1.2. 主要特征数据仓库是面向主题的（Subject-Oriented ）、集成的（In
2020-07-30 22:45:44
300
原创 Linux启动命令--Spark、Flink
1.启动 Spark Master 和 Slaves, 以及 HistoryServercd /export/servers/sparksbin/start-all.shsbin/start-history-server.sh
2020-04-26 00:38:01
903
原创 hive分析窗口函数
Hive分析窗口函数(一) NTILE,ROW_NUMBER,RANK,DENSE_RANK- NTILE背景：1.有时会有这样的需求:如果数据排序后分为三部分，业务人员只关心其中的一部分，如何将这中间的三分之一数据拿出来呢?NTILE函数即可以满足。2.ntile可以看成是：把有序的数据集合平均分配到指定的数量（num）个桶中, 将桶号分配给每一行。3.如果不能平均分配，则优先分配较...
2020-04-01 16:38:08
217
原创 Hive函数-内置函数
内容较多，可见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF查看系统自带的函数hive> show functions;显示自带的函数的用法hive> desc function upper;详细显示自带的函数的用法hive> desc function ...
2020-04-01 16:24:02
366
原创 linux：挂载、rpm、yum、scp、ssh、crontab、时钟同步
1 挂载新的硬盘1.1 目标虚拟机 增加一块 硬盘1.2 路径第一步: 了解linux系统分区的原理第二步: 查看系统分区情况第三步: 虚拟机 增加 硬盘第四步: 分区第五步: 格式化第六步: 挂载第七步: 设置重启后 挂载不失效1.3 实现第一步: 了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射...
2020-03-28 17:10:50
805
原创 linux命令：cut、sort、wc、uniq、tee、tr、split、awk、sed。+shell脚本
管道相关命令1.1 cutcut：以某种方式按照文件的行进行分割参数列表：-b 按字节选取 忽略多字节字符边界，除非也指定了 -n 标志-c 按字符选取-d 自定义分隔符，默认为制表符。-f 与-d一起使用，指定显示哪个区域。范围控制： n:只有第n项 n-:从第n项一直到行尾 n-m:从第n项到第m项(包括m)准备工作vim 1.txt111:...
2020-03-28 17:09:01
1512
原创 linux命令：find、打包解包、vi编辑器、用户权限
搜索命令1.find 搜索1.1 目标通过find命令 在特定目录下(包含它的后代目录) 搜索 符合条件的文件1.2 实现 : 在指定目录中 根据名称 搜索命令格式序号命令格式作用01find [路径] -name ‘*.txt’查找指定路径下扩展名是 .txt的文件, 包括子目录如果省略路径, 表示在当前文件夹下查找之前学习的通配符,...
2020-03-28 17:06:55
497
原创 linux基础命令：ls、cd、touch、mkdir、rm、tree、cp、mv、cat、less、head、tail、grep、管道 | 、echo、> >> && || 和软连接
操作系统概述目标了解 操作系统 的作用1.1 操作系统(Operation System, OS)操作系统作为接口的示意图:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-orkeVfe4-1585385786873)(assets/1558233351754.png)]、没有安装操作系统的计算机, 通常被称为 裸机如果想在 裸机 上运行自己所编写...
2020-03-28 17:02:36
824
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人