- 博客(14)
- 收藏
- 关注
RSS订阅原创 Hive学习之路-关联表（Join）
本篇文章主要研究下Hive里面的Join操作，Hive关联可以细分为四种，如下所示：内关联：join on左关联：left join on右关联：right join on全关联：full join on1.内关联（join on）语法：select * from table1 join table2 on table1.id = table2...
2020-03-23 20:40:31
1918
原创 Hive学习之路-年月日时分秒函数
Hive中获取日期时间的函数包括年（year）、月（month）、日（day）、时（hour）、分（minute）、秒（second）。下面介绍各自的用法：1.year函数作用：获取年份语法：select year('2019-12-31 12:30:01');结果：20192.month函数作用：获取月份语法：select month('2019-12-31 ...
2020-03-23 20:40:00
5465
原创 Linux操作经验
1.自动释放内存while true;do sync&&echo 3 > /proc/sys/vm/drop_caches;free -g;sleep 2;done2.Linux动态执行某一条命令while true;do sleep 2;命令行；done例如：动态查看内存while true;do sleep 2;free -g;done3.生成4位...
2020-03-23 20:39:48
137
原创 HBase常用操作
1.创建表create 'test','cf1','cf2'备注：1.test表示表名；2.cf1和cf2表示列簇名，根据实际情况增加2.查看有哪些表list备注：类似mysql的show tables;3.查看表结构describe 'test'备注：类似mysql的desc4.添加数据给test表的cf1:name列插入数据put 'test','r...
2020-03-23 20:39:30
160
原创 Flink学习笔记-基本操作
1.查看flink任务 flink list2.取消flink任务 flink cancel 任务ID3.启动yarn-sessionyarn-session -n 3 -s 3 -jm 2048 -tm 1024 -t conf/ -d备注：在启动flink run前，需要先启动yarn-session1.-n表示taskmanager的数量2...
2020-03-23 20:39:07
235
原创 Hive学习之路-多分隔符的使用
通常情况下，我们创建的都是单分隔符的Hive表，但是在实际业务环境中，多数情况下使用的是多分隔符，本篇文章我们探究下Hive多分隔的用法以及注意事项。单分隔符示例：create table hello(name string,code timestamp)row format delimited fields terminated by ',' lines terminated...
2019-09-12 11:48:44
768
原创 Hive学习之路-2
上篇讲了Hive的技术框架，应用场景，表分类，本篇文章我们着重讲Hive具体使用。一、Hive的访问方式1.beeline方式 beeline -u jdbc:hive2://hadoop02:10000 或 beeline （不同厂商小有区别） 备注：现在基本都是使用hiveserver2，高并发情况下性能优于hive12.API的方式 hive支持Java...
2019-09-12 10:55:34
139
原创 Hive学习之路-1
一、概述 Hive是基于Hadoop的分布式数据仓库，相当于在Hadoop框架上架了一层SQL，继承了标准SQL的所有语法操作，最早底层依赖的计算引擎是MapReduce引擎，在最新版本也可以通过修改参数调整计算引擎为Spark。二、应用场景1. Hive使用用于海量数据的统计查询分析，除了内置的函数外，也可以自定义函数（UDF）对数据进行离线处理分析2. Hadoop...
2019-08-31 11:56:09
141
原创 Java-I/O框架体系
2.1 I/O框架体系2.1.1 概述Java中的IO主要来自于java.io和java.nio两个包。从发展历史来看，为BIO->NIO->AIO,分别对应阻塞IO、多路非阻塞IO、异步非阻塞IO。BIO也就是传统阻塞式IO，IO流分为字节流（主要处理字节二进制数据，包括图片、视频等字节数据）和字符流（只能处理字符类数据，处理时必须开辟缓存区），阻塞式IO通俗的理解就是，没有数...
2019-08-31 11:05:26
92
原创 Linux下卸载mysql
Linux卸载mysql1.查看mysql安装情况rpm -qa | grep -i mysql2.rpm卸载rpm -e mysql-community-common若出现以下情况，加上–nodeps忽略依赖rpm -e mysql-community-common --nodeps3.yum卸载yum -y remove mysql小知识总结：获得软件包相关的信息用rpm...
2019-07-30 15:41:41
80
原创 Caused by: java.io.IOException: Keystore was tampered with, or password was incorrect
启动yarn-session时上报的错误java.io.IOException: Failed to initialize SSLContext for the blob serverat org.apache.flink.runtime.blob.BlobServer.(BlobServer.java:201)at org.apache.flink.runtime.jobmanager.J...
2019-07-30 09:10:05
4520
原创 Java学习笔记-构造方法
构造方法不能有返回值，void也不行构造方法中不能使用return当实例化类对象时，默认调用无参构造，可以在构造中进行初始化工作public class SystemDemo {public SystemDemo(){ System.out.println("hello");};public static void main(String[] args) { Sy...
2019-07-23 17:13:15
137
原创 python学习笔记之爬虫实战
python爬虫网易云音乐下载到本地使用python3爬取网易云音乐下载到本地，需要用到py自带的tkinter,urllib(urllib)或者第三方库requests（需要使用pip安装），re,os等模块 注意问题： - 需要模拟浏览器，否则网站服务器会封掉你的IP地址，所以需要获取浏览器get头部中User-Agent添加到headers中from tkinter import...
2019-05-04 20:32:50
306
原创 Java中Lock，tryLock，lockInterruptibly区别和使用，及synchronized关键字
首先，讲讲synchronized关键字，java的内置特性。在java中synchronized作为关键字可以修饰代码块或者方法，当使用它修饰代码块或者方法时，表示被修饰的代码块或者方法，同一时刻只能被一个线程执行或调用，其他线程会处于等待状态，当占用锁的进程执行完成后，jvm会自动释放锁及线程执行所分配的线程空间，这时其他线程才可以继续获取锁。例如：同时起两个线程A和B，run方法中的...
2019-05-02 20:52:36
428
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人