2020年09月_喵Ja

原创 sqoop总结及常见语法

目录第一章 Sqoop简介第二章 Sqoop的原理第三章Sqoop安装3.1下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动验证Sqoop3.5测试Sqoop是否能够成功链接数据库第四章 Sqoop的简单使用案列4.1导入数据4.1.1RDBMS到HDFS4.1.2 RDBMS 到 Hive4.1.3 RDBMS 到 Hbase4.2 导出数据4.2.1 HIVE/HDFS到RDBMS4.3 脚本打包第五章 Sqoop 一些常用的命令及参数5.1 常用命令列举5.2命令&参数详解5.2.1

2020-09-29 22:46:47 1899

原创 HBase表的数据结构

一.Table传统数据库一个表的结构如下姓名年龄性别成绩wuyifan18man100john20man98转换成HBase数据库的表结构就如下所示infoscoreRow_keyinfo:name ，info:age ，info:sexscore:name， score:score//创建表和列族//create 'school','info','score'//==创建列族中的列和数据//put 's

2020-09-24 18:31:35 615

原创 Hbase权限控制

Hbase权限控制简介 Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。配置：hbase-site.xml<property> <name>hbase.security.authorization</name> <value>true</value></property><property> <name&

2020-09-24 16:31:54 520

原创 hive自定义函数(java)

目录流程准备代码打jar包流程java 继承UDF类编写udf函数(evaluate())(一个类一个方法)打fat包(包括所有依赖文件)把jar包放到linux上临时udf函数在hive命令行中使用add jar jar包路径即可加载到临时系统中create temporary function 函数名() as ‘方法的全类名’永久udf函数在liunx命令行使用hdfs命令把jar包上传到hdfs路径create function 函数名 as ‘方法的全类名’us

2020-09-22 17:11:31 718 1

原创 hive创建表失败：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

首先为什么会有这个问题呢，因为我是直接把朋友的虚拟机拷过来，然后创表时发现如下问题解决方案：打开mysql输入：alter database hive character set latin1;解决后重新进hive创表就可以了

2020-09-21 17:52:27 2545

原创 HBase安装配置和Hive安装配置

目录Hbase的安装配置Hive安装配置Hbase的安装配置安装: 前置条件最少安装了Hadoop（如果只是安装单机版hbase，zookeeper使用hbase内置的即可）如果需要安装伪分布式或完整分布式则需要先安装zookeeper 下载hbase（建议下载hbase-1.2.0）并解压至/opt/目录下，修改解压后的名字为hbasetar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/mv hbase-1.2.0-cdh5.14.2/ hb

2020-09-15 16:01:28 625

原创 HA高可用集群搭建

前提需求:完全分布式zookeeper配置与时间同步配置HA集群配置1.core-site.xml1.core-site.xml设置name集群的名称设置zookeeper 2181地址<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value&gt

2020-09-15 15:09:18 159

原创 zookeeper的配置和zookeeper集群的时间同步设置

文章目录一.ZooKeeper下载安装二.ZooKeeper配置三.配置集群的时间同步四.启动和关闭ZooKeeper并验证ZooKeeper下载安装拖入opt目录解压安装: tar -zxvf zookeeper-3.4.6.tar.gz删除安装包 rm -rf zookeeper-3.4.6.gar.gz配置全局变量 vi /etc/profile在打开的文件中添加如下两行:export ZK_HOME=/opt/zookeeper-3.4.6exp

2020-09-15 09:31:15 195

原创 hadoop运行模式(本地运行模式,伪分布模式,完全分布模式,配置时间同步)

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站：http://hadoop.apache.org/本地运行模式官方Grep案例创建在hadoop文件下面创建一个input文件夹[root@hadoop101 hadoop]# mkdir input将Hadoop的xml配置文件复制到input[root@hadoop101 hadoop]# cp etc/hadoop/*.xml input执行share目录下的MapReduce程

2020-09-08 19:16:13 691

原创 2020-08-23HDFS客户端操作

1. HDFS客户端环境准备根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：E:\hadoop）配置HADOOP_HOME环境变量配置Path环境变量创建一个Maven工程HdfsClientDemo导入相应的依赖坐标+日志添加版本根据你们自己的情况改 <dependencies> <dependency> <groupId>junit</groupId>

2020-09-08 14:27:40 233

原创 2020-08-22maven的安装配置

资源https://pan.baidu.com/s/1iPZzZgo0dJXnY7Ot1WWZ3A密码:g2g3下载完成后打开压缩包进行解压，解压文件位置最好不要放在c盘，记住解压后文件的位置。1.Maven环境变量配置新建变量名为：MAVEN_HOME 变量值：解压后maven文件的位置例如：E:\softs\apache-maven-3.6.1在PATH变量中添加一条：%MAVEN_HOME%\修改settings.xml文件可以在maven根目录下的conf包中知道setti

2020-09-04 11:30:28 145

原创 2020-08-21Hadoop在Linux中的安装配置

资源 https://pan.baidu.com/s/1uPa7TAFNEJ5ZSUEaJW1VYg密码：fqi0进入/opt 把文件拖进去cd /opt解压 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz配置环境： vi /etc/profile在末行输入export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROLexport JAVA_HOME=/opt/jdk1.8.0_22

2020-09-03 22:59:28 157

原创 2020-08-20MySQL在Linux的配置

资源链接：https://pan.baidu.com/s/19BdM_cMB-3TP4D_rgLasaw 密码 7gdi网络配置(仅主机:static,IPADDR=)桥接模式.工作中常用按a进入输入模式按esc 再按 :x //保存退出systemctl restart network //重启网络停止禁用防火墙 systemctl stop firewalldsystemctl disable firewalldmoba远程连接虚拟机上传安装包(

2020-09-03 18:48:48 108

weixin_47880716的博客