- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 DataSophon集成ApacheImpala的过程
由于我的目录设置为/var/log/impala, impala并没有权限进行创建该目录,只能手动创建(这个问题我知道咋解决),这个步骤要在安装服务之前就做吧.链接: https://pan.baidu.com/s/18KfkO_BEFa5gVcc16I-Yew?5. 在conf下将Hadoop的core-site.xml hdfs-site.xml以及hive的core-site.xml拷贝进来。3. 安装之后得到/opt/impala文件夹,重命名为/opt/impala-4.4.1。
2024-10-27 02:23:58
906
原创 关于Sqoop将oracle导入到hive中的时候出现的 No more data read from socket,或者拉取速度很慢的问题
一般情况下我们写sqoop是这样的:sqoop import --connect jdbc:oracle:thin:@host:port:SID --username uname --password pwd --table abc.market_price --target-dir /ert/etldev/etl/market_price -m 1我在使用的过程中发现,这种写法对于mysql和sqlserver是没有问题了,数据是能够抽取过来,并且速度很不错,但是当抽取oracle数据的时.
2020-05-21 10:44:42
1154
1
原创 JAVA正则表达式匹配字母数字下划线符号
正则表达式简单语法及常用正则表达式基本符号：^ 表示匹配字符串的开始位置 (例外 用在中括号中[ ] 时,可以理解为取反,表示不匹配括号中字符串)$ 表示匹配字符串的结束位置* 表示匹配 零次到多次+ 表示匹配 一次到多次 (至少有一次)? 表示匹配零次或一次！表示排除. 表示匹配单个字符| 表示为或者,两项中取一项( ) 小括号表示匹...
2019-12-31 11:14:18
16328
原创 Guava RateLimiter实现接口API限流
一、简介Guava提供的RateLimiter可以限制物理或逻辑资源的被访问速率。RateLimit二的原理类似与令牌桶，它主要由许可发出的速率来定义，如果没有额外的配置，许可证将按每秒许可证规定的固定速度分配，许可将被平滑地分发，若请求超过permitsPerSecond则RateLimiter按照每秒1/permitsPerSecond的速率释放许可。使用RateLimiter需要引入...
2019-07-23 09:23:26
428
原创 关于Java将Map转Bean,Bean转Map,List转Map,Map转List等工具类
package com.libstar.sd.utils;import com.libstar.lsp.support.util.DateUtils;import com.libstar.lsp.support.util.JsonUtils;import com.libstar.lsp.support.util.StringUtils;import java.lang.reflect...
2019-07-10 11:53:37
1177
1
原创 properties文件的存取,追加存取
最近在写程序的时候,需要存些临时的数据信息,但是又不想存在数据库中.所以就存在磁盘上的某个文件中.存取的格式为properties该代码在存取properties的时候,是追加存取.import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.File;import java.io.FileInputS...
2019-07-10 11:47:34
1704
原创 Mybatis 处理 Oracle中的LONG字段
当使用mybatis查询oracle中带有LONG数据类型的时候,实体类使用的是String类型来接收.一般会报两种错误:1.无效字段类型 2.流已被关闭处理方法:第一种方式:不使用LONG类型(废话)第二种方式:自定义函数将LONG类型转换为VARCHAR类型(百度,方法一大堆,都是)第三种方式:首先在Mapper.xml文件中自定义resultMap映射关系,将LONG类型字...
2019-07-05 17:18:18
3721
转载 mysql日期加减
一、MySQL 为日期增加一个时间间隔：date_add()。1、 示例：set @dt = now();select date_add(@dt, interval 1 day); - 加1天select date_add(@dt, interval 1 hour); -加1小时select date_add(@dt, interval 1 minute); - 加1分钟se...
2019-03-19 09:28:14
1238
原创 MySQL指定mysqld启动时所加载的配置文件
以下为配置文件参数优化和中文详解：[client]port = 3306socket = /tmp/mysql.sock[mysqld]port = 3306socket = /tmp/mysql.sockbasedir = /usr/local/mysqldatadir = /data/mysqlpid-file = /data/mysql/mysql.pid...
2019-03-19 09:24:50
5605
1
原创 Oracle中关于处理小数点位数的几个函数，取小数位数，Oracle查询函数
关于处理小数点位数的几个oracle函数()1. 取四舍五入的几位小数select round(1.2345, 3) from dual;结果:1.2352. 保留两位小数，只舍select trunc(1.2345, 2) from dual;结果:1.23select trunc(1.2399, 2) from dual;结果:1.233.取整数返回大于或等于x的最大整...
2019-02-21 21:34:03
3835
原创 Java读取Oracle中LONG类型数据
刚刚在工作中遇到的一个问题，数据库是客户方的，我们不能更改。我在读取某张表的时候，发现，其中的一个字段的类型是LONG（长字符串类型，最大可存储2G的内容），然后我通过mybatis，查询数据库，自动封装到JavaBean中，用String类型来接受，发现报错（Causedby:java.sql.SQLException:无效的列型:getCLOBnotimplementedf...
2019-02-21 16:23:29
5250
1
原创 ClassLoader加载Web应用程序中的properties文件
我们在Java应用程序中加载classpath目录下的properties文件，使用ClassLoader.getSystemResourceAsStream（"config.properties"）,即可。但是这个用法却不能在web应用程序中使用，会导致空指针异常。在web应用程序中应该是使用ServletContext来进行加载配置文件。我们可以通过request对象来获取 s...
2018-12-06 12:56:11
360
ojdbc6 ojdbc14
2020-05-25
MyBatisCursorItemReader Mapper方法上的注解失效问题
2022-11-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人