我思,故我在!--My data life

生命在于运动,知识在于积累。

CM启动 Oozie 服务器 Web 控制台

默认情况下Cloudera Manager是没有开启 Oozie web console的。 在打开Oozie Web UI时会出现下面的错误: http://172.16.29.10:11000/oozie/ Oozie web console is disabled. To enabl...

2019-04-10 14:49:59

阅读数 20

评论数 0

通过CDH5 Hadoop读取和写入OSS数据

本页目录 准备工作 步骤一:增加 OSS 配置 步骤二:配置 Impala 对 OSS 的支持 验证配置 参考文档 CDH(Cloudera's Distribution, including Apache Hadoop)是众多 Hadoop 发行版本中的一种,最新版本 CDH6.0.1 中...

2019-03-21 11:43:58

阅读数 71

评论数 0

通过hue执行Oozie作业

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义 当前运行的工作流实例,包括实例的状态和变量 Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基...

2019-03-21 11:26:55

阅读数 77

评论数 0

修改mysql数据目录

mysql在线默认安装后的数据目录为/var/lib/mysql 如果因为目录大小问题要修改数据存放目录,主要通过下面两个步骤就可以: 1. 停止mysql服务 2. 把/var/lib/mysql目录迁移到新目录,如/data01/mysqldata/mysql(注意新建目录权限) 3. 修改m...

2019-02-12 11:04:24

阅读数 95

评论数 3

在CDH5.14上离线安装Spark2.3

 在先前装的CDH5.14集群中,默认安装的spark是1.6.0版本。我们现在可以现有的集群中再装spark2.x版本,能和spark1.6版本并存。 当前CDH支持的Spark2.X最新版本是Spark2.3.0,目前Apache Spark最近版本是2.3.1,即CDH的版本更新是慢半拍的...

2018-08-30 17:52:53

阅读数 3066

评论数 1

通过hive表整合查询hbase数据

大家知道,直接从hbase的读取数据是一个比较繁锁的过程,需要java代码或是spark 查询 通过Hive整合HBase,可以通过hive表查询hbase数据,下面是测试过程 --创建hbase表 create "user","accou...

2018-08-14 11:47:28

阅读数 306

评论数 0

hive锁表操作

当hive表被锁住后,进行drop insert操作时都出挂起等待,sqoop也无法导入数据,此时就需要先对hive表解锁再进行相关操作。 步骤如下: 查看是否被锁: show locks t_real_user_comein; 列出相关查看锁表语句: SHOW LOCKS &am...

2018-07-27 11:08:59

阅读数 1060

评论数 0

使用beeline不能truncate table表

问题:使用beeline不能truncate table表 和/etc/hive/conf.cloudera.hive/hive-site.xml修改参数在beeline里不起作用   在truncate table 表时报下面的错误: 0: jdbc:hive2://172.16.29....

2018-07-23 10:26:58

阅读数 401

评论数 0

NameNode Last Checkpoint报错误[Checkpoint Critical]

问题: HDP重启后,NameNode Last Checkpoint报错误[Checkpoint Critical]   问题解决: 原理: HDP中的hdfs组件默认的dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txn...

2018-07-19 17:39:11

阅读数 558

评论数 0

使用PyCharm进行远程开发和调试

我们在使用python开发代码时,在linux上直接用vi编辑器开发操作起来会不是很方便,可以通过PyCharm的远程解释器加上文件同步功能,实现本地编辑代码->同步到服务器->通过远程debug来调试测试程序1.     远程服务器的同步配置远程服务器...

2018-06-29 16:56:16

阅读数 807

评论数 1

mysql参数调整参考(mysqltuner)

脚本获取# wget -c https://raw.githubusercontent.com/major/MySQLTuner-perl/master/mysqltuner.pl 脚本执行# chmod +x mysqltuner.pl# ./mysqltuner.pl 执行结果分析:[root...

2018-06-25 11:54:13

阅读数 228

评论数 0

MySQL 监控-innotop

innotop 编写者Balon Schwartz,《高性能MySQL》的作者之一。innotop的作用为实时地展示服务器正在发生的事情,监控innodb,监控多个MySQL实例,是一款MySQL运维和问题定位分析的工具。具体特性 : 事务列表可以显示Inoodb当前的全部事务 查询列表可以显示当...

2018-06-25 11:42:40

阅读数 127

评论数 0

CM启动 Oozie 服务器 Web 控制台

默认情况下Cloudera Manager是没有开启Oozie web console的。在打开Oozie Web UI时会出现下面的错误:http://172.16.29.10:11000/oozie/Oozie web console is disabled.To enable Oozie w...

2018-04-23 08:58:58

阅读数 679

评论数 0

Linux下安装 Python人脸识别 face_recognition 模块

系统环境:CentOS6.7 Anaconda版本:Anaconda3-5.1.0-Linux-x86_64 Python版本:Python-3.6.4   1. yum安装cmake、boost yum install cmake boost   2. yum安装gcc gcc-c...

2018-04-16 17:43:11

阅读数 773

评论数 0

用Hue中的Oozie执行Impala Sheel脚本

在Oozie中不能像执行hive SQL那样直接执行impala SQL脚本。目前没有Impala操作,因此你必须使用调用impala-shell的shell操作。调用impala-shell的shell脚本中还必须包含设置PYTHON EGGS位置的环境变量。这是一个shell脚本(impala...

2018-03-01 15:14:58

阅读数 2214

评论数 3

数据预处理--数据降维

数据规约产生更小但保持数据完整性的新数据集。在规约后的数据集上进行数据分析和挖掘将更有效率。机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。 y是数...

2017-07-20 17:10:48

阅读数 857

评论数 0

协同过滤算法

在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题1 什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF),首先想一个简单的问题,如果...

2017-07-11 17:33:19

阅读数 442

评论数 0

动态 SQL、EXECUTE IMMEDIATE、using、into、returning

很多时候我们需要在存储过程中使用动态的SQL,要怎么用好动态SQL呢,怎样执行效率最高呢。下面来介绍一下,如何使用动态SQL操作数据库。在存储过程中执行一个简单的SQL语句使用下面的方法即可。DECLARE BEGIN /* 使用该方法来创建一个新数据表,但这方法需要当前用户具有创建表的权限。...

2017-06-06 17:21:52

阅读数 755

评论数 0

python数据类型详解

目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串,例如:str='this is string';print str;b、使用双引号(")双引号中的字符串与单引...

2017-05-06 16:43:00

阅读数 281

评论数 0

DG备库ORA-01196故障-归档日志丢失恢复一则

问题:由于机房停电,其中一DG备库无法open,启动时报错--启动数据库时报下面的错误SQL> alter database open;alter database open*第 1 行出现错误:ORA-10458: standby database requiresrecoveryORA-...

2017-03-25 21:57:51

阅读数 1307

评论数 0

提示
确定要删除当前文章?
取消 删除