- 博客(7)
- 收藏
- 关注
RSS订阅原创 concat_ws()和lateral view explode()
concat_ws()和lateral view explode()数据：t1表uid tags1 1,2,32 2,33 1,2编写sql实现如下结果：uid tag1 11 21 32 22 33 13 2-- 创建表use bg401;CREATE TABLE IF NOT EXISTS exptest(uid int,tags array<string>)ROW FORMAT DELIMITED FIELDS TERMINATED BY
2020-09-21 21:25:07
219
原创 ssh免密
ssh免密原理在客户端使用ssh-keygen生成一对密钥：公钥+私钥将客户端公钥追加到服务端的authorized_key文件中，完成公钥认证操作认证完成后，客户端向服务端发起登录请求，并传递公钥到服务端服务端检索authorized_key文件，确认该公钥是否存在如果存在该公钥，则生成随机数R，并用公钥来进行加密，生成公钥加密字符串pubKey(R)将公钥加密字符串传递给客户端客户端使用私钥解密公钥加密字符串，得到R服务端和客户端通信时会产生一个会话ID(sessionKey)，用M
2020-09-21 20:57:45
100
原创 Hadoop---HDFS安装
1.1 本地模式特点运行在单台机器上，没有分布式思想，使用的是本地文件系统用途用于对MapReduce程序的逻辑进行测试，确保程序的正确，由于在本地模式测试和调试MapReduce程序较为方便，因此，这种模式适宜在开发阶段。环境的搭建：JDK的安装1）检查是否已经安装过或内置JDK，如果有，将其卸载rpm -qa | grep jdk #查找是否有jdkrmp -e xxxxxxxxx --nodeps #卸载jdk2）上传自己的下载好的jdk3）解压并更
2020-09-21 20:42:24
1130
原创 Hadoop
Hadoop一、简介Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用java语言开发，具有很好的跨平台性，可以运行在商用硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储。谷歌的三篇论文- 2003年发表的《GFS》基于硬盘不够大、数据存储单份的安全隐患问题，提出的分布式文件系统用于存储的理论思想。· 解决了如何存储大数据集的问题- 2004年发表的《MapReduce》基于分布式文件系统的计算分析的编程框架模型。移动计算而非移
2020-09-21 13:22:38
153
原创 SHELL编程
1.4 SHELL编程1.4.1 概念shell是一个由c语言编写的，即使一种语言，又是一种命令，是用户与linux沟通的桥梁，shell脚本（shell script）是一种为shell编写的脚本程序，他可以理解为一个可执行的批处理命令的集合。一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell。cat /etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash1.4.2 shell编程规范
2020-09-20 18:11:25
105
原创 Linux的高级命令
1.2 Linux的高级命令1.2.1 编辑1.2.1.1 vi（系统自带）命令模式 – 进入插入模式i I a Ao O – 常用命令dd 删一行ndd 往下删n行yy 复制一行nyy 复制n行p 复制的数据粘贴到游标所在行的下一行P 复制的数据粘贴到游标所在的上一行gg 移动到本文件的第一行G 移动到本文的最后一行u 撤销前一个动作x 向后删除一个字符nx 向后连续删除n个字符d1G 删除从此行到第一行dG 删除从此行到最后一行插入模式 – 进入命
2020-09-20 17:24:52
163
原创 linux 概念及常用指令
一、Linux1.1 概念Linux是一个开源，免费，多用户，多进程，多线程，性能稳定，安全的操作系统。1.2 常用指令-- 列出目录 ls -l 列出除了文件名之外，还显示文件的权限，所有者，文件大小等信息 -a 列出目录的所有文件，包括隐藏文件 -A 列出目录下的所有文件，不包括 . 和 .. -R 递归显示 -t 以文件修改时间排序 ll -i 可以查看inode -k 查看大小(多少k) -h 查看文件大小(多少k 多少m) -s 排序 -r
2020-09-20 16:21:59
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人