dbdlz48088-CSDN博客

转载 idea+Windows+hadoop本地调试

1、下载hadoop-2.6.0.tar.gz包到本地我解压后放入D:\hadoop-2.6.0-cdh5.9.3\ https://github.com/steveloughran/winutils.git 选择相应的版本下载hadoop.dll、winutils.exe文件放入D:\hadoop-2.6.0-cdh5.9.3\hadoop-2.6.0\bin 配置环境变...

2018-09-07 19:37:00 298

转载 Livy submit mr、spark job

1、下载livy wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip 2、解压安装依赖环境变量 export SPARK_HOME=/opt/apps/cloudera/parcels/SPARK2-2.2.0.cloudera...

2018-07-17 20:31:00 179

转载 CDH 查找hive执行过的sql语句

首先找到这个jobid 可以看到这个job的执行时间很长是被人工kill掉的在cdh里面设置日志的筛选条件根据关键字FDM.T03_OFF_LOAN_APP_MA 筛选日志时间设置开始时间我们都知道hive语句是需要翻译成mr的，所以日志开始时间要早于 SubmitTime 结束时间设置为SubmitTime 即可转载于:h...

2018-06-12 09:41:00 882

转载 sqoop 常见错误以及处理方式

Oracle: Connection Reset Errors 错误代码 11/05/26 16:23:47 INFO mapred.JobClient: Task Id : attempt_201105261333_0002_m_000002_0, Status : FAILED java.lang.RuntimeException: java.lang.RuntimeExc...

2018-03-13 15:05:00 206

转载 hue厉害啊

可以看日志 mr日志可以看执行计划分析数据倾斜，性能瓶颈的利器啊可以看表结构转载于:https://www.cnblogs.com/gitgub/p/8514558.html

2018-03-06 15:25:00 111

转载 hive访问es的问题

问题 hive访问es 一个普通的count(*)操作开启一个mr任务进度，总是停留在5% 查看该job一共启动5个task 选择一个进入发现把任务分发到不同的节点查看日志发现是三台es集群的9200端口没有对相应机器开放转载于:https://www.cnblogs.com/gitgub/p/8514460.html...

2018-03-06 15:12:00 212

转载 hive读取es里面的数据建表时，时间格式不能转换问题

用hive读取es里面的数据，建表。时间类型的数据不能接受的问题问题描述：spark读取指定索引/类型的数据，其中有自定义格式的日期数据，读取该日期时报异常，日期定义格式："estime" : {"type" : "date","format" : "yyyy-MM-dd HH:mm:ss"}, 1 CREATE EXTERNAL TABLE esjson.app_phone...

2018-02-27 11:04:00 418

转载 CDH中 hive整合es 添加自定义的jar

1 临时生效把elasticsearch-hadoop-2.4.1.jar 整合的jar上传到 hdfs的目录上这样hive就可以访问es的数据了 2 永久生效直接把Jar放到{HIVE_HOME}/lib/ 目录下重启生效我用的CDH我放到 /opt/apps/cloudera/parcel-repo/CDH-5.9.0-1.cdh5.9.0.p0.2...

2018-02-07 13:49:00 491

转载基于hive的拉链表设计实现

参考http://lxw1234.com/archives/2015/08/473.htm 测试数据 order_2015-08-21 1 2015-08-18 2015-08-18 创建2 2015-08-18 2015-08-18 创建3 2015-08-19 2015-08-21 支付4 2015-08-19 2015-08-21 完成5 2015-08-19 2015-08...

2017-12-08 18:48:00 161

转载 tomcat7, tomcat8的进入manager, tomcat_user.xm配,以及如何配置远程访问manager

要使用，localhost:8080/manager 需要配置tomcat_user.xml 以下注释打开后依然不可以 <!-- <role rolename="tomcat"/> <role rolename="role1"/> <user username="tomcat" password="<must-be-changed&g...

2017-11-23 14:55:00 92

转载感动到哭的SBT下载

在centos上搭建spark开发环境。使用IntelliJ IDEA做scala开发，需要配置SBT。一直卡在从maven上下载jar包的过程中，还几次都下失败了。试过vpn也没有用。还好偶然看到阿里云maven仓库，才终于下成功了。修改文件位置： ~/.sbt/repositories 没有这个repositories这个文件就新建一个 1 [reposit...

2017-11-21 17:10:00 60

转载拉链表

1 /*拉链表: 也就是一个记录历史表,用于记录事物从最开始的状态到当前状态所有变化的信息 */ 2 3 --历史表 4 drop table old_tb_his; 5 drop table new_tb; 6 7 8 --od 我们希望的拉链表记录数据的所有状态，初始化为昨日全量数据 9 create tabl...

2017-11-10 10:46:00 81

转载 oracle dblink

输入要连接的数据库的用户名和口令数据配置见下文需要修改端口号和实例名数据库 (DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.17.101.81)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=bdpdb))) 点解确定即可转载于:https://www...

2017-11-08 17:24:00 75

转载 plsql 连接oracle 数据库

# tnsnames.ora Network Configuration File. # Generated by Oracle configuration tools. # Sample: #DatabaseName = # (DESCRIPTION = # (ADDRESS_LIST = # (ADDRESS = (PROTOCOL = TCP)...

2017-10-27 09:41:00 126

转载 win7 安装 Oracle 10G安装指导

1、解压文件10201_database_win32.zip，并双击解压目录下的setup.exe，出现安装界面，如下： 2、输入口令和确认口令，如：password，点击下一步，出现如下进度条，注：此口令即是管理员密码。 3、检查先决条件，选中红框所示的选择框，如下图： 4、点击“下一步”，出现“概要”界面，点击“安装”。 5、出现安装进度条，...

2017-10-26 21:32:00 76

dbdlz48088的专栏