- 博客(12)
- 收藏
- 关注
RSS订阅原创 datagrip使用指南-持续更新
建议使用2021.2.2-无须登录账户的最后一个版本datagrip分sql独立显示查询结果datagrip连接presto并使用选用2021.2.2版本，不需要联网登录账户，而且这一版有presto的连接选项，并且不会一直提示你登录presto的账户碰到一个情况，打开presto的窗口时输入sql一直执行不了，这时需要注意，presto选择数据库应该是 use catalog.schema 也就是说你的catalog是hive你想选test数据库，那就是use hive.test,
2022-02-11 11:08:28
1840
原创 关于datax由mysql导入到postgresql数据库慢的解决方法
关于datax由mysql导入到postgresql数据库慢的解决方法参考资料及原因参考：datax-＞hdfs到postgresql导数慢解决方式_cclovezbf的博客-CSDN博客datax采坑体验 - tianyafu - 博客园 (cnblogs.com)以下摘取自上面链接：因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条ins
2022-02-10 11:03:03
2957
原创 linux 版kettle自动清理缓存,任务只有第一次执行有效果,任务执行成功但是hdfs没有数据写入
linux版kettle 8.2不能自动清缓存,导致任务只能执行一次,后面就再执行也没有效果了(比如说mysql导入数据到hdfs,日志明明显示执行成功但是hdfs没有数据写入),此时数据会被写入到kettle根目录缓存在以下目录/opt/data-integration/system/karaf/解决方法:因为kettle执行任务的脚本是 pan.sh,所以在pan.sh里#!/bin/sh下面加一行rm -rf /opt/kettle/system/karaf/caches/{kit
2021-04-25 17:32:40
1605
2
原创 scala项目打包报编译错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.6:compile (default)
scala项目打包报编译错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.6:compile (default) on project com.atguigu: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)此处问题出现的原因可能为：项目放在了中文路径下面，java项目可以放在中
2020-09-22 20:21:27
3680
原创 scala之多维数组详解
scala多维数组object Exer003_MultiArray { def main(args: Array[String]): Unit = { println("========创建数组===========") //1.先创建一个二维数组 val arr: Array[Array[Int]] = Array.ofDim[Int](2, 3)//二行三列的二维数组，二维数组中有三个一维数组，每个一维数组有四个元素 //2.打印数组中元素 println
2020-09-18 19:27:23
1237
1
转载 hive常用函数
众所周知，Hive中有许多函数…什么聚合函数、开窗函数，数学函数，时间函数等等…所以今天我就来总结一下Hive中常用的函数，以便日后方便查询！函数基本操作【1】查看系统自带的函数show functions;【2】显示自带的函数的用法desc function upper;【3】详细显示自带的函数的用法desc function extended upper;聚合函数【1】count（返回行数）：count(*)\count(1)\count(常量)【2】sum（组内某列...
2020-08-19 18:35:17
1076
原创 idea使用问题手册
一在homework包下运行没问题，在java.student包下运行出错代码package java.student;import java.util.Scanner;/** * @author zhanghuohuo * @create 2020-06-30 15:09 */public class OOP { public static void main(String[] args) { Scanner scan = new Scanner(System
2020-08-14 20:47:15
107
原创 Hadoop优化之常用调优参数
1）资源相关参数（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTas...
2020-08-14 20:37:46
165
原创 简单的hadoop数据压缩案例实操
简单的hadoop数据压缩案例实操编码思路压缩1.获取文件输入流2.需要先获取一个普通的文件输出流，然后创建压缩文件的输出流，并将普通文件的输出流传入压缩文件输出流方法中，来做到输出压缩文件的效果（注意，还需要指定压缩的类型）3.进行流的对拷4.关闭流解压缩1.获取一个普通的文件输入流，再创建一个压缩文件的输入流，把普通文件输入流作为参数传入2.对比上述压缩过程，需要加一个输入的文件是否是支持的压缩文件的判断3.获取普通文件输出流4.流的对拷5.关闭流代码实现public cla
2020-08-14 20:20:08
208
原创 Hadoop-MapReduce压缩参数配置
参数 默认值 阶段 建议 io.compression.codecs （在core-site.xml中配置） 无，这个需要在命令行输入hadoopchecknative查看 输入压缩 Hadoop使用文件扩展名判断是否支持某种编解码器 mapreduce.map.output.compress（在mapred-si...
2020-08-14 18:19:07
405
原创 MapJoin案例详解
MapJoin1.MapJoin的重要知识点MapJoin适用于有一张十分小的表和一张甚至多张非常小的表的场景，这样的话就可以在MapTask阶段将非常小的那几张表加载进内存，提前处理业务从而减少Reduce端的压力，以减少数据倾斜。2.案例操作2.1需求 order.txtpididamount
2020-08-12 22:18:35
1268
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人