2020年09月_qq_2631218300

原创 Sqoop环境搭建

Sqoop环境搭建1、Sqoop安装安装Sqoop前提是已经具备java、hadoop、hive、zookeeper、hbase、mysql的环境未安装完全的可参考jdk安装hive和hbase安装hadoop安装zookeeper安装mysql安装2、下载并解压首先上传安装包到opt目录并解压然后改名tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz mv sqoop-1.4.6-cdh5.14.2.tar.gz sqoop3、配置环境变量[roo

2020-09-26 14:40:02 186

原创 NoSQL综述及Apache HBase基础

NoSQL综述什么是NoSQL:NoSQL：not only SQL，非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的，且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题为什么我们要使用NoSQL:互联网的发展，传统关系型数据库存在瓶颈高并发读写高存储量高可用性高扩展性低成本NoSQL和关系型数据库对比NoSQL的特点最终一致性应用程序增加了维护一致性和处理事务等职责冗余数据存储NoSQL !

2020-09-24 18:57:19 150 1

原创 Hive UDF开发流程

Hive UDF开发流程前提：保证maven工程可以正常创建并使用，并且下载相关jar包配置maven工程可参考https://editor.csdn.net/md/?articleId=108408011步骤简介：1、继承UDF类或GenericUDF类2、重写evaluate()方法并实现函数逻辑3、编译打包为jar文件4、复制到HDFS路径5、使用jar创建临时/永久函数6、调用函数示例：实现计算两个小时的时间差首先写出实现函数的java代码public class HourD

2020-09-22 17:36:03 278

原创 Apache Hive高级查询（1）

select基础select 用于映射符合查询条件的行hive select 是数据库标准的SQL的子集--使用方法类似于MySQLSELECT 1;SELECT [DISTINCT] column_nam_list FROM table_name;SELECT * FROM table_name;SELECT * FROM employee WHERE name!='Lucy' LIMIT 5;CTE和嵌套查询CTE (Common Table Expression）--CTE语

2020-09-19 10:42:39 103

原创 Apache Hive基础

Apache Hive基础Hive优势：提供了一个简单的优化模型HQL类SQL语法，简化MR开发支持在不同的计算框架上运行支持在HDFS和HBase上临时查询数据支持用户自定义函数、格式成熟的JDBC和ODBC驱动程序，用于ETL和BI稳定可靠（真实生产环境）的批处理有庞大活跃的社区Hive元数据管理记录数据仓库中模型的定义存储在关系数据库中默认是Derby，轻量级内嵌SQL数据库，Derby非常适合测试演示，存储在.metastore_db目录中实际生产一般储存在MySQL中，

2020-09-16 15:57:44 183

原创 Hbase和Hive安装

安装Hbase1、解压压缩包到opt目录下，改名为hbase2、配置环境变量：export HBASE_HOME=/opt/hbaseexport PATH=$ PATH:$HBASE_HOME/bin3、然后cd /opt/hbase/conf，在输入vi hbase-env.sh进入底部添加：export JAVA_HOME=/opt/java8（java8为你的jdk的文件名）export HBASE_MANAGES_ZK=true输入：set nu注释45 46 行4、输入vi h

2020-09-15 15:43:03 532

原创 Hadoop HA模式高可用搭建

Hadoop HA模式高可用搭建首先需要集群搭建，zookeepr安装配置，这些可以参考前面两篇博客再次基础上，对文件进行修改1、修改core-site.xml包括name集群的名称和zookeeper 2181地址2、修改hdfs-site.xmlnameservices集群下面的各个nameservice服务对应的映射rpc-address的地址9000http-address的地址50070journalnode的共享地址（各个datenode）qjournal：//datano

2020-09-08 20:17:37 168

原创 Hadoop完全分布式搭建

Hadoop完全分布式搭建1、上传压缩包并解压到opt目录下，改名hadoop2、配置环境变量export HADOP_HAOME=/opt/hadoopexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIV

2020-09-08 16:02:06 161

原创 zookeeper集群的时间同步

一、下载安装zookeeper到opt目录下并改名为zkpr二、zookeeper配置1、配置环境变量vi /etc/profile加上export ZK_HOME=/opt/zkprexport PATH=$PATH:ZK_HOME/bin保存退出后source /etc/profile使其生效2、输入cd /opt/zkpr/conf修改zoo_sample.conf将其改名为zoo.cfg,然后vi zoo.cfg进行修改为（每一台机器都要修改）2、保存退出后在zkpr目录下创建

2020-09-08 15:01:38 435

原创 ELK(Elasticsearch,Logstash,Kibana)安装步骤详解

ELK(Elasticsearch,Logstash,Kibana)安装步骤详解1、下载好安装包elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gz2、将下载好的安装包移动到opt目录下，解压安装包并改名,最后将安装包删除，节约空间tar -zxvf elasticsearc

2020-09-04 18:01:22 339 1

原创 eclipse配置maven环境详细步骤解读

eclipse配置maven环境详细步骤解读下载压缩包，下载地址：http://maven.apache.org/download.cgi下载apache-maven-3.6.1-bin.tar.gz压缩文件夹到一个目录下配置环境变量鼠标移到此电脑，右键点击属性，点击高级系统设置，点击环境变量点击系统变量的新建，新建的内容如下图，变量名为MAVEN_HOME变量值为maven文件夹的位置双击path进入，后面加上 %MAVEN_HOME/bin;最后打开按windows+r

2020-09-04 17:34:13 234

原创安装mysql

安装mysql1、上传mysql安装包到opt目录下2、下载依赖包并卸载冲突包yum install -y autoconfyum install -y perlyum install -y net-tools(下载时候直到底部出现complete）查询冲突包：rmp -qa | grep mariadb卸载冲突包：rpm -e 包名 --nodeps3、安装mysql客户端和服务端rpm -ivh 客户端包名rpm -ivh 服务端包名4、修改配置文件vi /usr/my.c

2020-09-04 14:18:47 98

原创 jdk安装步骤

jdk安装步骤1、首先在虚拟机上关闭和禁用防火墙，启用网络2、在根目录上创建一个software文件夹，在该目录下放我们要上传的jdk安装包，方便安装完成以后删除节约空间，在解压我们上传的安装包传到opt目录下，并改名3、配置环境变量输入vi /etc/profile在直接输入53gg直接定位然后退出保存，紧接着输入source /etc/profile最后输入 java -version，如果可以出来jdk版本则表示安装成功...

2020-09-03 17:19:14 247

原创 Logstash

安装Logstash环境Java8CENTOS 7$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz$ tar -zxvf logstash-6.2.2.tar.gz -C/opt$ ln -s /opt/logstash-6.2.2/ /opt/logstash#验证安装$ /opt/logstash/bin/logstash --version配置语法配置文件结构输入input

2020-09-02 14:30:24 91

原创 Query DSL

Query DSL-1叶查询子句（Leaf query clauses）用于在特定字段中查找特定值match查询term查询range查询复合查询子句（Compound query clauses）可以包含叶子或者其它的复杂查询语句bool查询Query DSL-2match_all：返回所有文档GET stu/_search{“query”: {“match_all”: {}}}Query DSL-3match：布尔匹配查询对查询字符串进行分词，根据分词结果构造布尔查

2020-09-01 18:41:37 112

xiaoxionghanhan的博客