大数据
编程人生之路
这个作者很懒,什么都没留下…
展开
-
kylin安装以及遇见到的一些问题和解决方法
环境:三台hadoop集群,hive,hbase,zookeeper三台机器内网互相通信,配置有一个外网ip,使用nginx端口映射kylin安装:安装部分参考文档:https://blog.csdn.net/seashouwang/article/details/77869773https://www.cnblogs.com/itboys/p/6322421.html1.从官...转载 2020-03-26 17:06:02 · 1900 阅读 · 0 评论 -
cloudera添加hdfs服务,perl: command not found
cloudera添加hdfs服务,部署客户端时出现perl: command not found解决办法:安装perl跟perl-develyum -y install perl perl-devel原创 2020-03-24 21:07:16 · 209 阅读 · 0 评论 -
cdh安装出现perl: command not found
安装的过程中出现错误:/opt/cm-5.11.0/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found是因为perl没有安装:yum install -y perl,安装完后,重试即可;...原创 2020-03-24 19:55:56 · 1063 阅读 · 0 评论 -
基于cm安装cdh 群集安装 正在安装选定 Parcel 选定的 Parcel 正在下载并安装在群集的所有主机上卡着不动的问题
在hosts添加127.0.0.1localhost就可以了 不需要重启!!!原创 2020-03-24 19:36:55 · 2692 阅读 · 3 评论 -
基于CDH5.12大数据基础环境部署
说明有些步骤看自己的情况而定!3.1.2 Ip 修改这里要使用固定IP,而centOS 7已经没有setup命令,所以图形界面的设置已经没有了,这里只能修改配置文件,而且配置文件的名称还不固定,每个人的都可能不一样,这里我说一下位置,IP配置文件的位置:cd /etc/sysconfig/network-scripts/转存失败重新上传取消Vi ifcfg-ens33我们...原创 2020-03-19 15:44:13 · 237 阅读 · 0 评论 -
Azkaban使用教程
Azkaban页面介绍 1创建project 2上传项目 3工作流视图 4项目权限 5执行流程图 6故障选项 7任务执行选项 8定时任务 9书写azkabna的作业 1010.1创建工程 1110.2创建job 1210.3四类job类型的文件都可以添加的参数 1310.4创建工作流flow 1410.5创建子工作流subfl...原创 2019-08-19 16:17:29 · 3730 阅读 · 1 评论 -
Kylin的介绍及使用说明
介绍篇Kylin是ebay开发的一套OLAP系统,与Mondrian不同的是,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),这段时间对mondrian和kylin都进行了使用,发现这两个系统是时间和空间的一个权衡吧,mondrian是一个ROLAP系统,所有的查询可以通过实时的...原创 2019-08-19 15:38:52 · 4309 阅读 · 0 评论 -
HDFS系统命令整理
目录hdfs文件系统命令 11.1文件路径增删改查系列 21.2权限管理类 31.3文件操作(上传下载复制)系列 41.4判断系列 51.5系统功能管理类 6运维命令 7mapreduce命令 8hdfs系统检查工具fsck 9运行pipies作业 10第一部分:hdfs文件系统命令1.1第一类:文件路径增删改查系列:hd...原创 2019-08-19 14:54:53 · 205 阅读 · 0 评论 -
快速删除Hive表数据脚本
在使用hive做测试时往往有很多测试的表,到最后想清空下表直接上脚本首先:用show tables;把表名存到一个txt文件中。#!/bin/bashcat 1.txt | while read line #读取文件每一行doecho "drop table $line;" >>tt.txt 把删除命令嵌入每个表名donetable...原创 2019-08-19 14:40:29 · 763 阅读 · 0 评论 -
hue 连接数据库失败及启动hue server和安装load balance时一直失败终极方案!!!
hue的问题第一个就是当验证数据库时,失败的问题,大多数都是缺少libmysqlclient.so.18这个文件或者目录找不到。在页面是这样的Unable to verify database connection.日志是有这Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared ob...原创 2019-08-08 22:56:20 · 1480 阅读 · 0 评论