大数据探索
文章平均质量分 83
大数据探索
桃橙柳
这个作者很懒,什么都没留下…
展开
-
sqoop安装使用
sqoop安装使用一、安装1.准备工作2.配置2.1解压2.2配置环境变量2.3配置sqoop2.4加入mysql驱动包二、使用1.数据导入1.1导入数据到hdfs1.1.1全量导入(1)全表导入,--table子句:(2)数据子集导入①--where子句:②按需导入--query子句③--column子句1.1.2增量导入1.1.2.1 Append方式1.1.2.2 LastModify方式1.1导入数据到hbase1.1.11.1.2.3 增量更新导出一、安装1.准备工作下载地址:官网:htt原创 2020-12-31 20:33:25 · 351 阅读 · 0 评论 -
hadoop生态的kerberos认证系列5-kylin
hadoop生态的kerberos认证系列5-kylin一、准备工作二、配置三、验证1.启动2.验证一、准备工作停掉hadoop集群;安装好kerberos认证服务;二、配置本文节点名为node参考文章:1.Kylin开启Kerberos安全认证2.【大数据安全】Apache Kylin 安全配置(Kerberos)通过这两篇文章可以知道kylin其实不用配置什么东西,直接启动运行即可三、验证1.启动kylin.sh start能正常启动[root@node hadoop]# j原创 2020-12-25 14:33:58 · 300 阅读 · 0 评论 -
hadoop生态的kerberos认证系列4-hive
hadoop生态的kerberos认证系列4-hive一、准备工作二、hive配置1.创建主体文件/凭证2.修改hive的配置文件3.修改hadoop的core-site.xml配置文件三、验证1.启动2.验证一、准备工作停掉hadoop集群;安装好kerberos认证服务;二、hive配置本文的节点名为node1.创建主体文件/凭证kadmin.local: addprinc hive/nodekadmin.local: ktadd -norandkey -k /usr/data//k原创 2020-12-25 14:23:47 · 415 阅读 · 0 评论 -
hadoop生态的kerberos认证系列3-hbase
hadoop生态的kerberos认证系列3-hbase一、准备工作二、hbase配置1.修改hbase-site.xml文件2.修改habse-env.sh文件3.新增hbase-jaas.conf文件4.修改zoo.cfg三、验证1.启动2.验证一、准备工作停掉hadoop集群;安装好kerberos认证服务;二、hbase配置1.修改hbase-site.xml文件添加如下内容:<property> <name>hbase.master.kerberos.原创 2020-12-23 20:36:40 · 1346 阅读 · 3 评论 -
hadoop生态的kerberos认证系列2-hadoop
hadoop生态的kerberos认证系列2-hadoop一、准备工作二、配置1.hdfs配置kerberos认证1.1一、准备工作停掉hadoop集群;安装好kerberos认证服务;二、配置注意:hadoop全部生态集群中,若要配置kerberos认证,则hadoop的kerberos认证必须先配置好,否则先配置其他集群的会出现问题,如:不配置hadoop的kerberos,先配置hive的kerberos认证的话,在配置过程没问题的情况下,beeline连接时会报错,提示不支持kerbero原创 2020-12-23 20:20:46 · 559 阅读 · 0 评论 -
hadoop生态的kerberos认证系列1-zookeeper
hadoop生态的kerberos认证一、zookeeper1.准备工作2.配置2.1创建服务端用户2.2导出凭证:2.3修改zookeeper的配置文件2.4生成jaas.conf文件2.5创建client的priincipal并导出2.6配置client-jaas.conf文件3.验证zk的kerberos一、zookeeper1.准备工作停掉hadoop集群;安装好kerberos认证服务;2.配置节点名为node,本文以单节点为例说明,集群一般也差不多,只要配置文件统一、凭证区分开即可(原创 2020-12-17 09:59:36 · 1437 阅读 · 0 评论 -
kerberos认证搭建安装
kerberos认证搭建安装一、Kerberos简介1.Kerberos2.Kerberos认证流程2.1客户端认证2.2服务授权2.3服务请求3.kdc集群3.1安装包3.2术语二、安装搭建1.服务器安装1.1安装命令1.2修改配置1.2.1修改KDC的配置文件1.2.2配置KDC服务的权限管理文件1.2.3修改Kerberos的配置文件信息1.3初始化KDC数据库1.4启动1.5KDC 服务器上添加超级管理员账户2.搭建Kerberos客户端环境3.登录验证三、基本命令操作1.登录管理员模式2.基本操作原创 2020-12-14 15:58:17 · 2837 阅读 · 0 评论 -
hive之beeline连接与操作
hive之beeline连接与操作一、连接配置1.连接测试1.1前提1.2启动hive服务1.3测试连接2.问题解决1.解决方式2.连接二、操作1.beeline操作一、连接配置1.连接测试1.1前提hadoop集群、hive已正常安装,hadoop集群已启动1.2启动hive服务先启动 metastore 服务:nohup metastore 2>/usr/data/hive/log/metastore/metastore.err &再启动 hiveserver2 服务:noh原创 2020-12-03 19:31:38 · 28405 阅读 · 1 评论 -
Hive主键、唯一约束
Hive主键、唯一约束等条件探索一、官网查看二、探索1.官网操作2.查找资料3.官网验证4.探索意义一、官网查看点击此处查看官方文档其中Create table:CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [column_constrai原创 2020-10-13 16:54:27 · 27320 阅读 · 10 评论