- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux下Drools Workbench安装教程
1.安装文件下载到以下地址下载包kie-drools-wb-7.2.0.Final-tomcat8.warhttp://download.jboss.org/drools/release/7.2.0.Final/依赖jar包可以直接去mvnrepository下载：kie-tomcat-integration.jarjavax.security.jacc-api.jarsl...
2019-04-01 17:21:59
1374
1
原创 du和df目录大小不一致
du -sh发现目录大小只有400多M，但是df -h发现有5G解决方法：lsof | grep deleted 查找删除的进程，kill -9 进程号删除即可解决问题。
2018-08-17 13:36:37
1543
转载 hive中修改表、分区、列
修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下： ALTER TABLE table_name RENAME TO new_table_name 修改表属性修改表属性的语句如下： ALTER TABLE table_...
2018-08-10 18:39:51
9619
2
原创 使用impala-shell导入导出数据
(tip:将select * from sq_dim_city，替换为需要导出的查询sql即可,分割符号可以自选)参数说明： • -q query （--query=query） 从命令行执行查询，不进入impala-shell • -d default_db （--database=default_db） 指定数据库 • -B（--delimited）去格式化输出 • --ou...
2018-07-31 16:53:35
6033
原创 hue中oozie从mysql导入hive报错Could not load db driver class: com.mysql.jdbc.Driver
解决方法：将mysql-connector-java.jar上传到hdfs：/user/oozie/share/lib/lib_timstamp/sqoop重启oozie服务。
2018-07-23 17:15:58
1771
原创 重装hdfs后，oozie报错Could not locate Oozie sharelib
下载地址：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz 将tar包上传到服务器:$ mkdir /tmp/ooziesharelib$ cd /tmp/ooziesharelib$ tar -zxvf oozie-4.1.0-cdh5.14.2.tar.gz$ cd oozie-4.1...
2018-07-23 16:51:23
1287
原创 oozie中调度sqoop
创建目录sqoop，以下所有目录和文件都放在sqoop目录下。1.创建目录lib，拷贝msql的jar包到该目录mysql-connector-java.jar2.job.properties文件内容如下：nameNode=hdfs://ip-150:8020jobTracker=ip-150:8032queueName=defaultoozieappsRoot=use...
2018-07-17 16:02:42
2432
原创 hue中调度oozie总是显示heart beat
错误日志如下：这是资源不足的问题，调整yarn的如下参数：yarn.nodemanager.resource.cpu-vcores#最大容器内存yarn.scheduler.maximum-allocation-mb 调整后重启yarn即可。 ...
2018-07-17 13:26:33
2170
2
原创 oozie在shell端执行报错
问题：[root@elcndc2zndd02 ~]# oozie admin -shareliblistjava.lang.IllegalArgumentException: Oozie URL is not available neither in command option or in the environment at org.apache.oozie.cli.Oozi...
2018-07-11 15:45:29
1324
原创 如何避免sqoop执行job时让输入密码
执行如下命令时让输入db的密码：sqoop job --exec jobname在sqoop-site.xml 文件中设置：sqoop.metastore.client.record.password=true sqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/l...
2018-07-09 15:00:38
861
原创 cdh中安装oozie无法访问web页面
原因是oozie的/var/lib/oozie目录里缺少EXT的包点击Documentation链接里quickstart给出了解决方案其中特别需要注意的一点是Ext包必须是2.2版本的，高了或低了都不行因为tomcat服务器目录下的软链接ext-2.2是指向/var/lib/oozie/ext-2.2的所以版本一定不能错2 解决方法把下载好的ext-2.2.zip拷贝到Oozie主机的/var/...
2018-07-06 14:32:28
2036
3
原创 hive执行错误解决方法
报错如下：INFO : Cleaning up the staging area /data/user/hive/.staging/job_1530585043265_0202ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission den...
2018-07-05 11:23:01
2688
原创 sqoop导入数据中含有\t、\n等的解决方法
sqoop从mysql导入到hive的命令如下：sqoop import --connect jdbc:mysql://serveraddress:3306/test --username root --password pwd123456 --query "select * from user where \$CONDITIONS" --hive-table hiveuser --hive...
2018-07-05 10:20:08
8326
原创 hive如何打开日志
在默认的日志级别情况下，是不能将DEBUG信息输出的，这样一来出现的各种详细的错误信息都看不到。我们可以通过以下两种方式修改log4j输出的日志级别，从而利用这些调试日志进行错误定位，具体做法如下： $ hive --hiveconf hive.root.logger=DEBUG,console （hive启动时用该命令替代）或者在${HIVE_HOME}/conf/hive-log4j.pro...
2018-07-05 09:54:37
2746
1
原创 hadoop常用命令
参考：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文...
2018-07-04 15:33:39
140
原创 如何查找hive表在hdfs中的存储位置
在hive环境下输入以下命令：hive> show create table ecej_md_company;OKCREATE TABLE `md_company`( `company_id` int, `update_user` int, `merchant_id` string, `company_attribute` tinyint)COMMENT 'Import...
2018-07-04 14:57:40
9782
原创 HUE loadbalancer启动失败解决方法
cloudera-scm-agent/process/169-hue-HUE_LOAD_BALANCER/httpd.conf: Cannot load /usr/lib64/httpd/modules/mod_ssl.so into server: /usr/lib64/httpd/modules/mod_ssl.so: cannot open shared object file: No su...
2018-07-03 17:09:20
3239
原创 centos下离线安装CM及其CDH5.14
参考官方文档：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
2018-07-03 15:19:33
1364
原创 Output directory hdfs://hadoop:8020/user/root/output already exists
异常提示： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:8020/user/root/output already exists解决方案：这是因为每次MR都会生成一个output目录但是不能自动删除，...
2018-07-03 10:53:43
7213
原创 使用sqoop将数据从mysql导入hive遇到的问题
问题1：java.lang.ClassNotFoundException: org.json.JSONObject错误16/06/07 08:49:01 WARN manager.MySQLManager: It looks like you are importing from mysql.16/06/07 08:49:01 WARN manager.MySQLManager: This tr...
2018-07-03 10:32:56
2152
原创 centOS下卸载离线安装的CM和CDH
配置情况：一台cm Server（使用Mysql）一台CM agent一台CDH主机停止各种cdh及cm的服务1、界面上直接停止cluster集群2、停止CM server及其agent./cm-5.14.1/etc/init.d/cloudera-scm-server stop./cm-5.14.1/etc/init.d/cloudera-scm-agent stop执行stop命令后查看进程是...
2018-07-02 11:00:30
3188
原创 Kylin中看不到hive库表但是hive命令行可以看到
hive环境迁移后发现在Kylin中load data source的时候找不到hive中的数据库和表了，但是执行hive命令查询库表及其数据都没有问题。解决方法如下：kylin.properties中的配置项：kylin.env.hadoop-conf-dir=/etc/hadoop/conf该配置表示在/etc/hadoop/conf目录下要存在所有大数据平台的配置文件，这里检查hive-si...
2018-06-29 11:01:32
2508
原创 linux下升级python2.6到python2.7
1. 准备安装包，系统是最小化安装# 下载安装依赖的相关包[root@vip ~]# yum install vim gcc make wget -y[root@vip ~]# yum install openssl-devel zlib-devel readline-devel sqlite-devel -y# 下载[root@vip ~]# cd /usr/local/src[root@v...
2018-06-27 11:14:02
287
原创 Drools与Spring boot集成简单DEMO-初步
本文主要介绍如何将Drools集成到Spring boot。1、修改pom文件增加drools maven依赖：<dependency> <groupId>org.drools</groupId> <artifactId>drools-core</artifactId> <version>7.0.0.Fin...
2018-05-31 10:21:03
2582
原创 开源规则引擎Drools、URule简介
最近要开始做一个风控项目，大概看了下有很多指标，于是决定调研一下开源业务规则引擎。首先我们要明白什么是规则引擎。规则引擎是一种嵌套在应用程序中的组件，实现将业务规则从应用程序代码中分离出来。规则引擎使用特定的语法编写业务规则。引入规则引擎后端带来的好处：（1）实现业务逻辑与业务规则的分离，实现业务规则的集中管理。（2）可以动态修改业务规则，从而快速响应需求变更。（3）使业务分析人员可以参与编辑、维...
2018-05-30 17:02:19
28669
原创 nginx配置HTTPS
Prerequisite：确保安装的nginx编译时带有ssl_module正规的应该是到证书签发机构购买申请，我们在项目初期就自己利用OpenSSL生成证书，节约成本，缩短开发流程。1、SSL证书生成linux下openssl生成 签名的步骤：x509证书一般用到三类文件：key 、csr 、crtKey是私钥，通常是rsa算法。Csr是证书请求文件，用于申请证书。在制作csr文件时，必须使用自...
2018-05-28 14:20:19
216
转载 Kylin增量cube build的restAPI的时间不准确的BUG
Kylin1.6增量cube build的restAPI的时间不准确的bug:描述：使用restAPI:curl -X PUT -u "ADMIN:KYLIN" -H "Content-Type:application/json;charset=utf-8" -d '{"startTime":1508601600000,"endTime":1508688000000,"buildType":"BU.
2018-05-24 18:13:07
620
1
转载 Apache Kylin 维度优化指南
为什么需要维度优化因为如果不进行任何维度优化，直接将所有的维度放在一个聚集组里，Kylin就会计算所有的维度组合（cuboid）。比如，有12个维度，Kylin就会计算2的12次方即4096个cuboid，实际上查询可能用到的cuboid不到1000个，甚至更少。 如果对维度不进行优化，会造成集群计算和存储资源的浪费，也会影响cube的build时间和查询性能，所以我们需要进行cube的维度优化。...
2018-05-23 14:30:22
1230
原创 Mac OS中mysql在系统偏好不受控制， 被 kill 后仍不断重启的解决办法
由于前段时间升级了MAC OS版本，今天发现在系统偏好设置中Mysql不受控制了。于是在终端命令行使用kill命令将mysqld进程杀死：ps -ef | grep mysqldsudo kill -9 pid这时Mysql又自动重启了，但是再次回到系统偏好设置中就可以在界面中启动停止MySQL服务了。如果不想自动重启，还有一个解决办法：令Mysqld不断重启的主要是 LaunchDeamons...
2018-05-09 17:25:37
4009
原创 mac下启动/停止/重启mysql服务
社区版MySQL下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads选择操作系统“Linux - Generic”，根据实际需要选择与服务器OS版本对应位数的包进行下载。下载的包名为“mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz”。下载后就可以开始安装了。1、解压2、...
2018-05-09 17:13:18
905
2
原创 CDH中安装使用sqoop2
由于我们的Hadoop、Hive等集群都是通过CDH安装部署的，而且CDH本身支持sqoop安装，因此直接就在这里安装测试了。CDH版本：5.14.x 安装过程如下：点击首页的“Cluster 1”进入Cluster 1界面后，点击Clusters->Add Service在Service列表中找到sqoop：这里我们可以看到有Sqoop 1 Client和Sqoop2，并且Sqoop2的描...
2018-05-09 10:45:15
7377
3
原创 sqoop简介及sqoop1与sqoop2区别
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。sqoop1与...
2018-05-08 16:19:28
16233
4
转载 阿里云开源离线同步工具DataX3.0介绍
一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数...
2018-05-07 10:33:50
572
原创 在Jenkins经典UI下创建Pipeline
登录Jenkins系统.在Jenkins系统主界面，点击左侧的“New Item”.输入新建Pipeline项目的名. 注意: Jenkins会使用这个名称在硬盘上创建目录，因此建议名字中不要包含空格。 选择“pipeline”然后点击OK进入配置页面。4. 下拉至Pipeline->Definition，选择Pipeline script.5. 在Script的...
2018-04-28 15:32:42
1059
原创 Jenkins的Blue Ocean是什么
今天打算配置一下Jenkins的pipeline，发现官网提到了Blue Ocean，之前还真没有听说过。经过学习发现，我们可以理解为Jenkins的另一种皮肤。我们程序员都是动手型的，所以先装配起来。Jenkins->系统管理->插件管理，在“可选插件”中搜索“Blue Ocean”可以看到如下结果：选中第一个Blue Ocean，然后点击“直接安装”，接下来就是等待了。安装完成后回...
2018-04-28 10:33:26
11978
翻译 Windows下安装Docker
原文地址：https://docs.docker.com/windows/step_one/Windows用户可以使用Docker Toolbox安装Docker软件。Docker Toolbox包含如下Docker工具：Docker CLI 客户端：创建image和container的Docker引擎Docker Machine：支持在Windows终端执行Doc
2016-03-31 13:36:13
657
翻译 Apache Felix HTTP Service
未完待续InstallingUsing the HttpServiceUsing the ExtHttpServiceUsing the WhiteboardServlet service propertiesFilter service propertiesHttpContext service propertiesUsing the Servlet BridgeUsing
2014-12-02 16:30:27
2173
使用OpenSips构建电话通信系统
2013-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人