猿天霸 Tuan-CSDN博客

原创 Eclipse快捷键总结

常用快捷键总结 1. 编辑Ctrl+1 快速修复（最经典的快捷键,就不用多说了，可以解决很多问题，比如import类、try catch包围等） Ctrl+Shift+F 格式化当前代码 Ctrl+Shift+M 添加类的import导入 Ctrl+Shift+O 组织类的import导入（既有Ctrl+Shift+M的作用，又可以帮你去除没用的导入，很有用） Ctrl+Y ...

2018-08-20 18:05:22 128

原创图解Kerberos原理

图解Kerberos原理Kerberos是一个常用的认证与授权协议，在初次接触该协议的时候，往往觉得该协议充满复杂的交互逻辑，但在充分理解了之后，又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中关于Kerberos Protocol的定义，增加了一些图解信息，希望能够让读者更直观的理解该协议的内容。整体流程参与的关键角色整体流程的介绍中，关于用户身份认证与服务授权都用...

2019-12-19 14:44:30 486

原创 Hive多字符的分隔符

hive默认是只支持单字符的分隔符，默认单字符是\001。当然你也可以在创建表格时指定数据的分割符号。如：create table user(name string, password string) row format delimited fields terminated by ‘\t’。通过这种方式，完成分隔符的指定。如果你想要支持多字符的分隔符可以通过如下方式：1、自定义一个 ...

2018-11-29 22:07:51 2289

原创 hive常见的几种文件存储格式与压缩方式的结合

一.使用Parquet存储数据数据使用列存储之前是普通的行存储，下面是行存储的的文件大小，这个HDFS上的数据使用parquet列存储，可以将文件的大小减小化。下面具体讲parquet存储数据的代码以及加载数据的格式。数据库代码：create table if not exists db_yhd.track_log_parquet(id STRING,url...

2018-11-29 21:53:01 813

1 Fetch 抓取Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下， Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认...

2018-11-26 21:05:34 123

翻译 Hive 教程（官方Tutorial）

Hive 教程（官方Tutorial）TutorialHive TutorialConceptsWhat Is HiveWhat Hive Is NOTGetting StartedData UnitsType SystemBuilt In Operators and FunctionList itemLanguage CapabilitiesUsage and E...

2018-11-22 21:51:03 480

原创 HA 高可用集群搭建

HA 高可用集群搭建1.准备1台虚拟机（配置完基础环境后，克隆2台，将集群搭建完2台主节点，1台子节点）1.1配置网络[root@Master1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIP...

2018-11-17 18:57:05 226

原创 hadoop集群搭建

hadoop集群搭建hadoop搭建前配置通过虚拟机进行搭建对第一台进行配置配置网络[root@lsl001 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EtherneONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.13...

2018-10-27 20:27:07 452

原创 ssh免密码登陆脚本

ssh免密登陆脚本运行脚本前面需要先配置好/etc/hosts文件的ip映射，这个脚本是根据hosts文件的ip进行免密登陆配置的密码可以自己修改PWD_1运行需要联网需要联网#!/bin/bash#yum安装expectyum -y install expect#PWD_1是登陆密码，可以自己设定PWD_1=123456ips=$(cat /etc/hosts |grep -v...

2018-10-27 14:48:32 631

原创 Linux安装高版本的mysql

在官网下载 mysql下载地址包安装[root@lsl01 usr]# rpm -ivh mysql80-community-release-el6-1.noarch.rpm修改mysql的下载安装版本，将5.7的enable=0改为1，将8.0的enable=1改为0vi /etc/yum.repos.d/mysql-community.repo# Enable to use My...

2018-10-26 20:55:58 466

原创 Linux安装tomcat

Linux安装tomcat从tomcat官网下载安装包解压到 /usr/local下[root@lsl01 usr]# tar -zxvf apache-tomcat-7.0.91.tar.gz -C local查询防火墙状态[root@lsl01 usr]# service iptables status关闭防火墙[root@lsl01 usr]# service iptab...

2018-10-26 20:14:20 221

原创 Linux安装JDK

Linux安装JDK1.下载jdk jdk-8u102-linux-x64.tar.gz2.将jdk安装包上传至Linux中3.将安装包解压到 /usr/local[root@lsl01 usr]# tar -zxvf jdk-8u102-linux-x64.tar.gz -C local4.配置环境变量进入jdk1.8.0_102目录下，获取当前路径[root...

2018-10-26 19:49:41 140

原创 SSM框架整合实现增删改查（简单的实现）

SSM框架整合实现增删改查文件结构POM文件<packaging>war</packaging>  <properties>  <project.build.sourceEncoding>UTF-8</project.build.source...

2018-09-24 19:17:41 14290 3

原创 Redis集群搭建出现的错误

1、in `call’: ERR Slot 8579 is already busy (Redis::CommandError)在 /my_soft/Redis安装包及jar包/redis-3.0.4/src 目录下执行redis 集群安装命令：./redis-trib.rb create --replicas 0 192.168.3.15:6379 192.168.3.15:6380...

2018-09-15 08:59:24 1737

原创 OutOfMemoryError: Java heap space 处理

Exception in thread “main” java.lang.OutOfMemoryError: Java heap space 使用Java程序从数据库中查询大量的数据时出现异常: java.lang.OutOfMemoryError: Java heap space 在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。JVM堆...

2018-08-24 08:58:58 346

weixin_41303204的博客