2018年05月_程裕强

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Apache Kylin 2.3 JDBC Java API 示例

示例代码 pom.xml&amp;amp;lt;dependencies&amp;amp;gt; &amp;amp;lt;!-- https://mvnrepository.com/artifact/org.apache.kylin/kylin-jdbc --&amp;amp;gt; &amp;amp;lt;dependency&amp;amp;gt; &am

2018-05-31 13:34:01 1493

原创 Apache Kylin 2.3 样例分析

之前参考Apache Kylin 1.x 相关例子select sum(price) as total_price from kylin_sales kswhere ks.part_dt between '2013-12-01' and '2013-12-31'select sum(price) as total_price from kylin_sales kswhere k...

2018-05-31 09:35:54 1239

原创 Apache Kylin 2.3 构建Cube失败

1、问题需要查看错误日志[root@bigdata05-test ~]# cd /opt/kylin-2.3.1/logs/[root@bigdata05-test logs]# lltotal 1664-rw-r--r-- 1 root root 16674 May 30 08:18 kylin.gc.20356.0.current-rw-r--r-- 1 root ro...

2018-05-30 08:49:10 1463

原创 Apche Kylin启动报错：UnknownHostException: node1:2181: invalid IPv6 address

1、启动报错启动Apache Kylin 2.3时报错： ERROR [main] imps.CuratorFrameworkImpl:546 : Background exception was not retry-able or retry gave upjava.net.UnknownHostException: node1:2181: invalid IPv6 address...

2018-05-29 00:01:45 3407 1

原创 Oracle SQL Developer作为Hive的客户端可视化工具

1、下载Oracle SQL Developerhttp://www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index.html 由于我的电脑上已经安装了JDK，所以下载不包含的JDK的版本。得到软件包sqldeveloper-18.1.0.095.1630-no-jre.zip2、运行Ora...

2018-05-28 22:00:42 8311 1

原创 Sqoop从Oracle导入一个大表（3亿）到Hive失败

[root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@node1:1521:ORA --username test --password test --table info --hive-import --target-dir temp_table --hive-table info --null-string...

2018-05-25 15:43:54 1932 2

原创杀死killHadoop Mapreduce job程序

（1）首先查找到僵死的JobID值（2）hadoop job -kill $Job_ID[root@bigdata01-test sqoop-1.4.7]# hadoop job -kill job_1526097883376_0059DEPRECATED: Use of this script to execute mapred command is deprecated.Ins...

2018-05-25 14:42:03 2663

原创 Sqoop导入Oracle所有表，没有报错，但失败

[root@node1 sqoop-1.4.7]# bin/sqoop import-all-tables --connect jdbc:oracle:thin:@node1:1521:ORA --username TEST --password test --hive-import --create-hive-table --hive-overwriteWarning: /opt/sqoop-...

2018-05-24 16:35:14 1984

原创 Sqoop导入MySQL所有表到Hive

[root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --username root --password 123456 --hive-import --create-hive-tableWarning: /opt/sqoop-1.4.7/bin/../../hba...

2018-05-24 15:34:52 1320

原创 Sqoop导入mysql所有表到HDFS

1、sqoop-import-all-tables导入多表[root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --username root --password 123456 --as-textfile --warehouse-dir /user/rootW...

2018-05-24 15:12:29 1547

原创 Sqoop导入Oracle数据表到Hive

1、问题1[root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@192.168.1.31:1521:TPADC --table FUND_INFO --username tpa_query --password tpa_query --split-by VC_FUNDCODE --hive-import -...

2018-05-23 22:58:10 1708

原创 Sqoop导入Oracle数据表到HDFS

1、问题[root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:TPADC --username test --password test --table fund_info -m 1;Warning: /opt/sqoop-1.4.7/bin/../../hbase...

2018-05-22 17:18:42 1800

原创 Linux下Oracle client（sqlplus）安装和配置

1、下载rpm包http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html[root@bigdata01-test ~]# lsoracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpm oracle-instantclient11.2-devel-11.2...

2018-05-22 15:15:34 23942 1

原创超简单的Sqoop入门教程

1、下载http://sqoop.apache.org/ https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 对于sqoop-1.4.x.tar.gz软件包，从1.4.5开始以后版本安装包的lib下就已经没有了sqoop-1.4.x.jar啦，我们这里需要下载sqoop-1.4.7.bin__hadoop-2.6.0.tar...

2018-05-22 10:06:34 2572

原创 SpringMVC+jquery.pagination分页显示

最近在做ES全文搜索，需要做个类似于百度搜索下面分页的组件。找了很多，最后发现jquery.pagination实现分页很方便。1、JSP页面从http://www.zhangxinxu.com/jq/pagination_zh/下载对应的JS、CSS文件。<%@ page language="java" contentType="text/html; charset=UTF...

2018-05-18 13:39:27 802

原创 IllegalArgumentException: The main resource set specified ... is not valid

运行Eclipse JavaWeb项目，报错严重: A child container failed during startjava.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina]...

2018-05-14 16:50:12 11371 3

原创 Elasticsearch 6.x：先按照评分排序，再按照时间排序

最近在做一个搜索引擎，需要对文档进行中文分析，默认按照评分排序。现在需要先按照评分排序，再按照文档时间进行二次排序。核心代码如下：SearchResponse searchResponse = client.prepareSearch(&quot;test&quot;) .setTypes(&quot;doc&quot;) .setQuery(multiMatc...

2018-05-11 14:14:58 15864 1

原创 CentOS 7.x安装搭建Zabbix3.0环境【亲测】

1、安装数据库mariadb[root@node1 ~]# yum install -y mariadb mariadb-server[root@node1 ~]# systemctl start mariadb[root@node1 ~]# systemctl enable mariadb[root@node1 ~]# vi /etc/my.cnf[root@node1 ~...

2018-05-05 23:50:29 1780

原创 CentOS 7.x 卸载删除MariaDB，重新安装

1、卸载[root@node1 ~]# rpm -qa|grep mariadbmariadb-5.5.56-2.el7.x86_64mariadb-libs-5.5.56-2.el7.x86_64mariadb-server-5.5.56-2.el7.x86_64[root@node1 ~]#[root@node1 ~]# yum remove mariadb...Rem...

2018-05-05 22:38:52 47626 4