大数据
winrar_setup.rar
对,我懒
展开
-
生产环境apache Atlas-1.1.0安装方案
Atlas是一套可扩展和可扩展的核心基本治理服务,使企业能够有效和高效地满足Hadoop内的法规遵从性要求,并允许与整个企业数据生态系统进行集成。ApacheAtlas为组织提供了开放的元数据管理和治理功能,以构建其数据资产的目录,对这些资产进行分类和管理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作能力。 Atlas可以完成元数据信息展示、hive表数据传递血缘关系展示的逻辑为:读取hive meta store和hive hook的信息,meta store的数据用来展示元...原创 2020-07-10 10:41:16 · 1205 阅读 · 1 评论 -
Cannot insert into target table because column number/types are differen
运行一个sql,报如下错误FAILED: SemanticException [Error 10044]: Line 1:23 Cannot insert into target table because column number/types are different ''2019-09-01'': Table insclause-0 has 2 columns, but query h...原创 2019-09-17 16:05:30 · 9728 阅读 · 0 评论 -
CentOs安装pyhive
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64pip install saslpip install thriftpip install thrift-saslpip install PyHive以下为代码demo,功能是打印出所有表的建表语句。代码中连接的hive使用的LDAP验证方式,所...原创 2019-09-11 16:58:09 · 1604 阅读 · 0 评论 -
Azkaban 在 CentOS 7上安装部署(多执行器模式)
准备环节:(如已安装,均可略过)A-基础命令安装由于测试机选择的是centOS7的最小安装,好多Linux的命令是没有的,所以选择先通过yum安装这些命令 1-yum -y install wget 2-yum -y install cmake 3-yum -y install readline-devel zlib-devel openssl-de...原创 2018-04-14 21:54:44 · 2344 阅读 · 0 评论 -
Tengine/Nginx的安装及升级为系统服务
Tengine是nginx的增强版,底层实现还是nginx.所以两个组件的安装方法是完全相同的.安装之前准备1、依赖 gcc openssl-devel pcre-devel zlib-devel 安装:yum install gcc openssl-devel pcre-devel zlib-devel 2、创建用户和用户组。为了方便nginx运行而不影响linux安全 创建组:groupadd...原创 2018-06-25 22:23:28 · 1139 阅读 · 0 评论 -
Tengine的简单使用篇(动静分离,共享yum源等)
Tenginetengine是nginx的改装版,具有所有nginx的功能,并且另外添加了一部分功能,nginx适用于高并发访问的负载均衡,不使适用上传和下载任务较多的io服务tengine官方中文文档:http://tengine.taobao.org/nginx_docs/cn/docs/如果想体验nginx使用但是还没有安装nginx的伙伴,可以参考这个:A-nginx的组成--------...原创 2018-06-25 22:16:30 · 1982 阅读 · 0 评论 -
Table 'hive1.deleteme1529656403521' doesn't exist in engine解决办法
使用sqoop从mysql中导数据到hive报错.报错日志有些长,部分日志如下:WARN Datastore.Schema: Exception thrown obtaining schema column information from datastorecom.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hiv...原创 2018-06-25 15:37:36 · 3012 阅读 · 0 评论 -
ERROR Could not register mbeans java.security.AccessControlException: access denied ...
使用sqoop从mysql导数据到hive报错:ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")sqoop是刚刚安装好的,运行sqoop version可以输出版本信息.但是运...原创 2018-06-25 15:28:49 · 11858 阅读 · 5 评论 -
不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。
最近在研究集群迁移相关的一些事情,涉及到给cloudera集群添加机器,在添加机器的过程中遇到了下面的问题: 不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。首先总结下网上的说法: 1-agent文件是从其他正在运行cloudera-scm-agent的机器上拷贝过来直接用的,因为该进程在运行时会产生一个...原创 2018-06-08 21:35:46 · 17134 阅读 · 0 评论 -
sqoop基本理论知识,安装搭建及常用命令
Sqoop学习之路 目录· 一、概述· 二、工作机制· 三、安装· 1、前提概述· 2、软件下载· 3、安装步骤· 四、Sqoop的基本命令· 基本操作· 示例· 五、Sqoop的数据导入· 1、从RDBMS导入到HDFS中· 2、把MySQL数据库中的表数据导入到Hive中· 3、把MySQL数据库中的表数据导入到hbase一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据...原创 2018-06-21 13:54:35 · 580 阅读 · 2 评论 -
sqoop报错:Access denied for user 'root'@'172.16.21.22' (using password: YES)
使用sqoop将mysql中的数据导入hive,遇到错误如下:18/05/14 16:35:47 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'172.16.21.22' (using password: YES)java.sql...原创 2018-05-14 18:25:29 · 5088 阅读 · 0 评论 -
提数平台csv文件用excel打开中文乱码
解决背景:utf8的bom头由\xEF,\xBB,\xBF组成Excel在读取csv的时候是通过读取文件头上的bom来识别编码的,如果文件头无bom信息,则默认按照unicode编码读取。(这个bom是微软自己定义的一种文件头部协定,顾名思义存储在文件头部,存储内容就是标识文件编码的信息。)而我们生成csv的平台不一定遵循微软的bom协议,导致如果输出非unicode编码的csv文件(例如utf-...翻译 2018-05-14 15:48:32 · 372 阅读 · 0 评论 -
MR任务随机性运行失败
问题描述:azkaban调度系统中有个别的几个flow总是随机性有任务失败,经查看日志发现如下错误* java.io.FileNotFoundException: jenkins/mapred/local/1508958341829_tmp does not exist* java.io.IOException: java.util.concurrent.ExecutionException: j...翻译 2018-05-17 12:20:27 · 1000 阅读 · 0 评论