- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 idea打包的jar 运行时报 jar中没有主清单属性
在pom文件加上主程序入口的信息，即使pom文件飘红也没事，黄色字体为需要修改的主程序的类，完整的pom文件为：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http..
2021-12-14 13:54:27
372
1
原创 idea maven 报错jar中没有主属性清单
将程序按照maven的package打包后在target路径中执行java -jar Test.jar后报jar中没有主属性清单，将下段粘贴到pom.xml后解决：<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifact...
2021-11-08 14:48:07
276
原创 kafka使用与报错解决
cdh5.10安装的kafka版本为：2.2.1-kafka-4.1.0，安装成功后看到kafka快速开始的第一条命令为创建kafka-topics.sh，执行find / -name "kafka-topics.sh"，路径为/opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4/lib/kafka/bin/，进入此路径，执行如下命令（）：创建一个topic：./kafka-topics.sh --create --topic quickstart-events
2021-04-28 16:54:58
672
原创 redhat7.4离线搭建cdh6.3.1(四节点)
一.安装版本---------------------------------------------------------------------------------------------------------------------linus版本：red hat7.4...
2020-06-02 09:17:00
1805
1
原创 sqoop开启多并行度时报错
使用sqoop传输数据时，如果开启多并行度会产生各种问题，比如传输完成后缺少一部分数据、传输过程中报错等，解决方法为并行度-m设为1，但是写多个传输脚本同时进行传输，提高传输效率，让多个脚本同时传输的命令如下：sh sqoop_oracle_to_hive_1.sh>sqoop_oracle_to_hive_1.log 2>&1 &sh sqoop_oracle_...
2019-09-11 16:19:24
621
原创 sqoop export踩过的坑
使用sqoop export时遇到了以下的坑：username必须大写；在关系型数据库建目标表时表名必须大写；export-dir必须小写；tablename必须大写；
2019-09-11 16:12:33
1809
1
原创 使用sqoop eval 操作关系型数据库
想在sqoop export从hive抽取数据到关系型数据库前先操作关系型数据库，把目标表的数据清除一下，可以使用sqoop eval参数：sqoop eval --connect jdbc:oracle:thin:@10.1.4.10:1521:ORCL\--username USER\--password pass \--query "truncate table TABLE_NAM...
2019-09-11 16:08:37
2378
原创 impala和hive语法的区别
最近在工作中遇到了一些语句在impala可以执行但hive不支持的情况，内容如下：hive的date_sub函数对应impala的days_sub函数hive不支持add_years函数，只支持add_months函数hive的TIMESTAMP对应impala的to_TIMESTAMP函数hive的FROM_UNIXTIME函数要求参数必须是'yyyy-MM-dd HH:mm:s...
2019-09-11 15:57:54
3438
原创 HDFS学习笔记
HDFS：Hadoop Distributed File System Hadoop 分布式文件系统将大文件，大批量文件，分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析；HDFS 设计思路：1.大文件被切割成小文件，使用分而治之的思想让很多服务器对同一个文件进行联合管理2.每个小文件做冗余备份，并且分散存到不同的服务器，做到高可靠不丢失...
2019-03-09 17:38:37
308
原创 搭建hadoop集群
hadoop集群搭建的准备操作： 准备大数据集群（三台或者四台服务器，推荐四台） 推荐：四台服务器的主机名分别是：hadoop02, hadoop03, hadoop04, hadoop05 对以上四台服务器需要做以下准备操作，这些准备都是为了将来搭建hadoop集群做准备的 1、修改各服务器的主机名 vi /etc/sysconfig/network2、配...
2019-02-01 11:38:48
147
原创 python学习笔记
if-else简化版:表达式1 if 表达式 else 表达式2y = 5x = "大于0" if y > 0 else "小于0"print(x)输入数值，判断是工作日还是休息日，或者输入错误。day = int(input("请输入数值："))content = "工作日" if 1 <= day <= 5 else ("休息日" if day == 6 or
2019-02-01 10:55:08
260
原创 informatica学习笔记
Repository manager（资料库内容管理客户端工具）管理repository service（元数据资料库服务）。Administratortion console（基于web的管理控制台）管理integration service（数据抽取、转换、装载服务）。一．INFA开发流程：R用来在使用infa开发之前做一些准备工作，比如创建用户，创建工作文件夹D用来设...
2018-09-20 10:17:39
1117
原创 《oracle数据库讲义》笔记
字符串大小写敏感Insert into t2(c1) values('BEIJING ');Insert into t2(c1) values('beijing ');主健是通过索引实现索引的名称和约束的名称相同删除节点，下级保留select level,empno,ename,mgr from empwhere ename<>'BLAKE'start with (ename='KIN...
2018-07-11 18:01:47
612
原创 工作笔记
收集表的统计信息：DECLAREBEGINDBMS_STATS.GATHER_TABLE_STATS(USER,’F_IS_AGT_M’);END;Chown：用来更改某个目录或文件的用户名和用户组的；Chmod：用来修改某个目录或文件的访问权限。启监听：lsnrctl start;;用MINUS比较两个表时的字段时要把两个表的主键列出来，这样才会根据主键找到两个表对应的唯一一条数据，然后对两个表...
2018-07-11 17:56:51
658
原创 《linux命令行与shell脚本编程大全》笔记
Shell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行。 实际上Shell是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。 参数解释：-i :information,执行命令时候提示是否确定执行 Ls –F:区分文件和目录Ls –a(all):列出所有文件Ls –R:显示当前目录下的内容及子目录下的内容通配符：？代表一个字符，...
2018-07-11 16:42:59
343
原创 oracle数据库优化_简略版
在索引块中，既存储每个索引的键值，也存储具有该键值的行的ROWID。所以索引扫描其实分为两步：Ⅰ：扫描索引得到对应的ROWIDⅡ：通过ROWID定位到具体的行读取数据Oracle中的优化器是SQL分析和执行的优化工具，它负责生成、制定SQL的执行计划。Oracle的优化器有两种：· RBO（Rule-Based Optimization）基于规则的优化器· CBO（Co...
2018-07-11 16:36:37
226
原创 oracle数据库优化总结
1. 数据库优化基本知识I/O 数据库的基本作用就是实现对数据的管理与查询。随之而来的就是大量的IO操作, 在海量数据的情况下，数据库的性能问题有80%以上和IO有关。优化ORACLE数据库的I/O性能一般有两个方面，一是减少处理时间，二是减少等待事件。数据块oracle每次执行i/o时候就是以oracle块为单位。数据库的逻辑结构包括：数据块，区，段，表空间，数据块是数据库存储基础，是...
2018-07-11 16:35:03
19980
1
转载 truncate table drop
truncate特点：2.删除数据表的数据，但是保留数据表的结构（定义）；3.truncate为DDL语句，删除不可回退；delete的特点：1.删除数据表的数据，保留数据表的结构（定义）；2.delete为DML语句，删除可回退；drop的特点：1. drop语句除了删除数据还将删除表的结构，如被依赖的约束(constrain),触发器(trigger),索引(ind
2016-07-22 11:17:16
281
转载 join中连接条件放置位置
对于JOIN参与的表的关联操作，如果需要不满足连接条件的行也在我们的查询范围内的话，我们就必需把连接条件放在ON后面，而不能放在WHERE后面，如果我们把连接条件放在了WHERE后面，那么所有的LEFT,RIGHT,等这些操作将不起任何作用，对于这种情况，它的效果就完全等同于INNER连接。对于那些不影响选择行的条件，放在ON或者WHERE后面就可以。
2016-03-27 19:45:29
440
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人