Hive优化 -- 常用参数设置 Hive调优：1、内存大小调整2、增加并发3、分区 分区设置不合理，分区过多4、数据倾斜 任务集中在某个reduce -- 开启在map端聚合（1000条记录以下/小于20M）5、join优化6、合理控制map和reduce个数 小文件合并 -- 减少map个数，使用distribute by -- 增加map个数，...
Linux+Shell基础入门总结 1、Linux文件处理常用命令grep -ri“xxx” 文件名（查找文件内包含的文本）find . -name 文件名（查找文件）vi 文件名 或 touch 文件名 或 >文件名（新建文件的三种方式）rm -f 文件名（删除文件）rm -rf 目录（删除文件夹）2、vi命令 vi命令模式：一般模式、指令模式、编辑模式一般模式>&......
记录一个sql：mysql表根据自身数据来更新自身 相信我们很多时候都会有这种sql场景：将某张表中一条记录的数据更新为另一条记录的数据，也就是数据的同步或 重置。但是mysql是不支持在子查询中引用更新目标表的数据库。那我们要怎么来搞呢？还是老套路，多包一层查询嵌套：update mydb.t_timer_job set querySql = (select tmp.querysql fro...
Presto入门简介（含和Hive对比） 一、简介Presto是由Facebook开发的，是一个运行在多台服务器上的分布式查询引擎，本身并不存储数据，但是可以接入多种数据源（Hive、Oracle、MySql、Kafka、Redis等），并且支持跨数据源的级联查询，比如：select * from a join b where a.id=b.id;，其中表a可以来自Hive，表b可以来自Mysql。优势（相对于Hive）：Pr...
Sqoop导入导出Hive示例 Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce，批处理方式进行数据传输。本篇文章主要是根据Sqoop导入导出到Hive的实际示例，对Sqoop中的import与export进行简要介绍：===========...
Postgresql、HiveQL时间日期比较及加减写法 一、postgreSQL----当前时间now() >>2018-09-14 16:46:51.103709+08current_timestamp >>2018-09-14 16:47:58.547305+08----当前日期current_date >>2018-09-14----小于某个固定时间create_time <...
Oracle与PostgreSQL使用差异对比与总结 JDBC连接：Oracle的jdbc连接字符串：db.url=jdbc:oracle:thin:@192.168.1.1:1521:ORCLPostgresql的连接字符串：db.url=jdbc:postgresql:@192.168.1.1:5432/database1、基本数据类型差异Oracle PostgreSQL Varchar2 varchar n...
mybatis和ibatis使用区别 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE sqlMap PUBLIC "-//ibatis.apache.org//DTD SQL Map 2.0//EN" "http://ibatis.apache.org/dtd/sql-map-2.dtd" > <sqlMap namespace=&q
ftp常用命令 1: 建立 FTP 连接想要连接 FTP 服务器，在命令上中先输入ftp然后空格跟上 FTP 服务器的域名 'domain.com' 或者 IP 地址例如:ftp domain.comftp 192.168.0.1ftp user@ftpdomain.com绝大多数的 FTP 服务器是使用密码保护的，因此这些 FTP 服务器会询问'username'和'password'.如果你连接到被称作匿名...
Git命令日常使用总结 1、查看分支状态git branch 查看当前分支git status 查看分支当前状态(是否有待提交记录)2、修改并提交代码**git fetch --allgit add .git commit -m "提交注释"git push origin 当前分支名3、切换分支git fetch --allgit pullgit checkout 新分支名......
jquery常用方法（学习笔记） 1、选择器$(this) -- 选择当前元素$("#test") -- 选择id=test的元素$(".test") -- 选择class=test的元素$("p") -- 选择所有<p>元素2、jQuery HTML三个简单实用的用于 DOM 操作的 jQuery 方法： text() - 设置或返回所选元素的文本内容 html() - ...
几种常用加密算法简析与比较 常用的加密算法总体可以分为两类：单项加密和双向加密，双向加密又分为对称加密和非对称加密，因此主要分析下面三种加密算法：对称加密算法、非对称加密算法和单项加密算法（Hash算法）。1、对称加密算法（AES、DES、3DES）对称加密算法是指加密和解密采用相同的密钥，是可逆的（即可解密）。AES加密算法是密码学中的高级加密标准，采用的是对称分组密码体制，密钥长度的最少支持为128。AES加密算法是美国...
SQL优化小结 1.关于select * from t尽量不要使用 select * from t，用具体的字段列表代替 “*”，不要返回用不到的任何字段；2.建表时应注意（1）查询应尽量避免全表扫描，首先应考虑在where及order by涉及的列上建立索引；（2）尽可能的使用 varchar 代替 char ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较...
java表现层技术Jsp和Freemarker比较 Jsp -- java官配优点：1、支持jsp标签jstl和el表达式2、功能强大使用简单，支持写java代码3、官方标配，用户群广，有丰富的第三方jsp标签库缺点：1、可以写java代码，用不好会破坏mvc结构，前后端开发无法完全独立互相干扰 Freemarker -- 后起之秀优点：1、支持jsp标签，但是写法和jsp不一样（个人觉得有些写法比jsp更简...
关注
