![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
树很懒~
这个作者很懒,什么都没留下…
展开
-
hive之性能优化
hive之性能优化原创 2020-07-20 08:34:02 · 326 阅读 · 0 评论 -
hive之高级查询
hive之高级查询一、Hive的数据查询使用方法类似于MySQL,关键字和MySQL一样,不区分大小写limit用于控制输出的行数where —在group by之前,可以没有指定条件对数据进行筛选group by子句对查询的数据进行分组having子句对分组后数据进行进一步的条件筛选,与MySQL的用法一样,只能用在group by之后CTE和嵌套查询1)CTEWITH t1 AS (SELECT …) SELECT * FROM t1;嵌套查询SELECT * F原创 2020-07-19 18:05:45 · 785 阅读 · 0 评论 -
hive系列之窗口函数
hive系列之窗口函数文章目录hive系列之窗口函数一、窗口函数二、常用窗口函数2.1 排序2.1.1 NTILE2.1.2 rank()2.1.3 dense_rank()2.1.4 row_number()2.2 聚合2.3 分析2.3.1 LAG和LEAD函数2.3.2 first_value和last_value函数一、窗口函数窗口函数窗口函数是一组特殊函数,扫描多个输入行来计算每个输出值,为每行数据生成一行结果;可以通过窗口函数来实现复杂的计算和聚合基本语法select F原创 2020-07-19 18:04:43 · 206 阅读 · 0 评论 -
Hive常用基础命令
Hive常用基础命令一、打开命令行窗口有两种工具:Beeline和Hive命令行beeline1)启动元数据库(此步可省略)hive --service metastore (后台启动:nohup hive --service metastore &)2)启动hiveserver2hive --service hiveserver2 (后台显启动:nohup hive --service hiveserver2 &)3)启动beelinbeeline -u jdbc:hi原创 2020-07-19 14:51:57 · 266 阅读 · 0 评论 -
hive之视图
hive之视图一、视图定义:通过隐藏子查询、连接和函数来简化查询的逻辑结构,是虚拟表,从真实表中选取数据;只保存定义,不存储数据, 如果删除或更改基础表,则查询视图将失败,而且视图是只读的,不能插入或装载数据应用场景1)将指定的数据提供给用户,保护数据隐私2)简化查询语句复杂的场景二、视图表创建视图CREATE VIEW view_name AS SELECT 。。。。; ps: 创建视图支持 CTE, ORDER BY, LIMIT, JOIN 等– 查找视图 SHO原创 2020-07-19 12:27:46 · 826 阅读 · 0 评论 -
hive分区——静态分区和动态分区
hive分区——静态分区和动态分区语法、区别及使用场景一、 Hive以及分区简介hivehive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。hive分区hive 为了避免全表查询,从而引进分区,将数据进行划分,减少不必要的查询,从而提高效率。二、静态分区三、动态分区...原创 2020-07-13 08:39:43 · 753 阅读 · 0 评论 -
hive中内、外部表以及修改表操作
hive中内部表和外部表hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。hive的数据表分为内部表跟外部表。一、内部表(管理表)HDFS中为所属数据库目录下的子文件夹。数据完全由Hive管理。删除表(元数据)会删除数据创表语句:create table if not exists studennt(id int,name strin原创 2020-07-13 08:38:47 · 3537 阅读 · 0 评论 -
Mapreduce工作机制
Mapreduce工作机制文章目录Mapreduce工作机制一、MapReduce简介二、文件切片三、shuffle阶段四、reduce阶段一、MapReduce简介MapReduce是一种并行编程模型,将计算阶段分为两个阶段:Map阶段和Reduce阶段。首先把输入数据源分块,交给多个Map任务去执行,Map任务执行Map函数,根据某种规则对数据分类,写入本地硬盘。然后进入Reduce阶段,该阶段由Reduce函数把Map阶段具有相同key值的中间结果收集到相同Reduce结点进行合并处理,并将结原创 2020-07-11 23:22:42 · 1122 阅读 · 0 评论 -
Linux安装以及部分常用快捷键
一、Linux安装通过虚拟机安装Linux系统首先安装VisualBox下载地址:https://www.virtualbox.org/wiki/Linux_Downloadshttps://www.virtualbox.org此处安装的是原创 2020-06-16 22:58:10 · 420 阅读 · 0 评论 -
Linux软件安装(JDK和SVN)以及通过ssh跳转服务器
一、通过ssh跳转服务器进入ssh界面 会看到当前用户IP为192.168.56.102通过命令行ssh root@192.168.56.101访问地址为192.168.56.101服务器当前用户IP为192.168.56.102跳转准备:开启两个虚拟机------>对应两个IP地址通过ssh root@+IP地址进行远程连接(请求连接192.168.56.101)系统会询问是否连接,同意之后会切换为192.168.56.101 用户可通过vi /etc/passwd 查看当前所有用户原创 2020-06-17 19:43:22 · 1413 阅读 · 0 评论 -
Linux中Tomcat安装步骤
安装Tomcat切换到tomcat压缩包所在的目录由于linux是最小化安装,需要安装unzip(yum安装)通过yum下载解压包解压tomcat 目录将tomcat解压后的目录移动到opt下面并重命名然后进入tomcat的bin目录,使用chmod +x *.sh 给所有后缀为sh文件赋予执行权限在bin目录下./startup.sh来启动ps: 可以在logs 目录下使用tail -f Catalina.out 查看运行日志测试:Windows界面使用 IP地址:8080原创 2020-06-17 23:21:06 · 212 阅读 · 0 评论 -
Linux中Mysql安装步骤
Mysql安装在moba中点开想要安装的位置,直接拖入即可)上传rpm包yum 下载并安装依赖包:net-tools \ perl \ autoconfps:因为 net-tools 安装了所以这边没有截图安装net-tools命令:yum -y net-tools 自动下载安装安装客户端 : rpm -ivh MySQL-c 按回车自动补全压缩包名安装服务端: rpm -ivh MySQL-s按回车自动补全压缩包名ps:会有依赖报错,根据提示将依赖包删除依赖报错原创 2020-06-17 23:51:35 · 209 阅读 · 0 评论 -
ELK之集群搭建
ELK集群的搭建一、复制虚拟机ps: 复制虚拟机必须在关闭状态下复制,并且是完全复制(此虚拟机是ELK安装配置已完成的,详情请见:https://blog.csdn.net/little_sloth/article/details/106840834)ps:注意是完全复制,需要勾选重新初始化所有网卡的MAC地址,并且虚拟机的名字不区分大小写,备份的时候需要注意二、修改主机名和主机列表1.网络地址针对复制的虚拟机,打开登录输入:vi /etc/sysconfig/network-scri原创 2020-06-19 17:25:10 · 214 阅读 · 0 评论 -
Linux中Elasticsearch索引的简单操作
一、PUT操作put一般用于插入,也可用于更新,但是会使得更新的字段替换原有的所有字段,如果无需全部替换不建议使用用法PUT 索引/类型PUT 索引/类型/类型的编号{Json串}PostPost /索引/类型/编号/_update{ “doc”:{ 列名:值//精准修改}}Post /_bulk —批量操作----必须写在同一行{“create“:{“_index”:索引,“_type”:类型,”_id”:编号}}{json串}{“原创 2020-06-24 00:27:27 · 2981 阅读 · 0 评论 -
Hadoop和Hadoop集群的安装和配置
hadoop和hadoop集群的安装和配置文章目录hadoop和hadoop集群的安装和配置一、安装centos7.0二、hadoop安装前配置三、安装以及配置Hadoop环境四、启动Hadoop四、测试五、Hadoop集群配置一、安装centos7.0安装方式详见:https://blog.csdn.net/little_sloth/article/details/106785511二、hadoop安装前配置安装完虚拟之后,使用moba进行后续操作1 . 配置免登录:1) 生成密钥:ss原创 2020-06-26 00:41:32 · 458 阅读 · 0 评论 -
VMware环境下安装Linux步骤
VMware环境下安装Linux步骤文章目录VMware环境下安装Linux步骤一、创建虚拟机二、网络相关配置以及连接moba一、创建虚拟机创建新的虚拟机此处选择的是典型此处选择的是稍后安装-----后续安装会和vbox安装过程差不多,可以根据实际情况选择安装程序光盘映像文件选择系统-Linux取名以及存放路径ps:建议此处新建一个空文件夹存放,此处和vbox有区别,会分出现很多文件,防止混乱建议新建文件夹存放设置磁盘大小自定义硬件硬件配置详情:1) 内存—建议不超过原创 2020-06-28 16:37:12 · 172 阅读 · 0 评论