- 博客(23)
- 收藏
- 关注
RSS订阅原创 Windows安装ElasticSearch
安装环境：java环境。新版本需要安装高版本的java，所有本次安装的为 7.x版本的ElasticSearch。所以要java11。
2023-07-31 13:15:44
749
原创 ES基础-基于Kibana增删改查
--------------------------------------------------------------------------- #报错 ：Field [price] of type [text] is not supported for aggregation [avg] #解决办法如下 GET shopping/_mapping。"category": "小米""category": "小米""category": "小米""category": "小米"
2023-07-31 13:02:45
696
原创 Oozie 安装 （编译）
根据官网要求需要的环境如下安装maven下载链接Maven – Download Apache Maven上传至服务器解压修改环境变量source 配置文件生效source /etc/profile测试是否安装成功mvn -version为了编译速度更快可以将maven源改成阿里源修改方法就是将安装msyql 这里就不多赘述自行安装下载oozie上传服务器解压tar -xzvf oozie-4.3.1.tar...
2022-04-11 15:36:41
2506
原创 CentOS 7下安装部署Elasticsearch7.3.1
elasticsearch简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文检索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。搭建环境1)JDK11环境2)...
2019-08-27 17:40:56
10007
原创 Windows 10下安装mysql
一、mysql下载参考下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads我下载的版本为5.7.下载好后解压到安装目录，我的路径为D:\下二、配置环境变量在系统变量里添加MYSQL_HOME,并指定变量值在Path变量里添加%MYSQL_HONE%\bin三、在mysql的根目录下创...
2019-08-14 09:20:10
196
原创 Eclipse安装Hadoop插件
本人需要用到Eclipse安装Hadoop插件，但是对于一个从没用过的Eclipse的我来说也是找了很多东西，下面我就介绍一下怎么安装。JDK安装配置 如果还没有安装Eclipse的朋友们需要先安装并配置好JDK，再下载安装Eclipse，这些我相信大家走到这一步的时候肯定都会了，就不赘述了。接下来，进入Hadoop环境搭建。2.Hadoop插件安装和配置 在Eclipse配置...
2019-05-07 09:54:44
3262
原创 Hive的学习路线
Hive的学习路线应该是：1 Hive介绍2 Hive系统架构3 Hive配置文件介绍4 Hive命令行（Hive shell 、Hive service）5 HiveQL(数据类型、函数、语法关键字、内部表外部表、表查询)6 表设计7 自定义函数8 Hive优化9 访问方式10 安全、Web、软件集成...
2018-12-25 11:43:23
477
转载 OLTP与OLAP的介绍
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易...
2018-12-24 17:11:28
125
原创 JVM的工作原理
Java 虚拟机 Java 虚拟机（Java virtual machine，JVM）是运行 Java 程序必不可少的机制。JVM实现了Java语言最重要的特征：即平台无关性。原理：编译后的 Java 程序指令并不直接在硬件系统的 CPU 上执行，而是由 JVM 执行。JVM屏蔽了与具体平台相关的信息，使Java语言编译程序只需要生成在JVM上运行的目标字节码（.class）,就可以在多种平台上不...
2018-12-11 15:42:07
98
转载 Region数目要求
HBase单个RegionServer的region数目上限前言RegionServer维护Master分配给它的region，处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能（ 分配的内存和磁盘是有限的 ）有限的，那么HBase单个RegionServer的region数目肯定是有上限的。 Region数目上限RegionServe...
2018-12-11 15:41:22
351
原创 HBase性能优化
base Region的拆分和合并Split拆分说明：Split entire table or pass a region to split individual region. With thesecond parameter, you can specify an explicit split key for the region.Examples:split 'ta...
2018-12-11 15:40:07
152
原创 spark数据倾斜的产生原理和现象分析
在执行shuffle操作的时候，大家都知道，我们之前讲解过shuffle的原理。是按照key，来进行values的数据的输出、拉取和聚合的。同一个key的values，一定是分配到一个reduce task进行处理的。多个key对应的values，总共是90万。但是问题是，可能某个key对应了88万数据，key-88万values，分配到一个task上去面去执行。另外两个t
2017-12-29 11:16:44
616
原创 Storm提交jar包时出现异常
报错：java.io.IOException:Failed on local exception:com.google.protobuf.InvalidProtocolBufferException: Protocolmessage end-group tag did not match expected tag.; Host Details :local host is: "slav
2017-12-29 11:09:41
1133
转载 Flume框架及应用
具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。（一）Flume架构介绍 1、Flume的概念 flume是分布式的日
2017-09-04 15:36:50
331
原创 centos7 安装mysql步骤
# 下载mysql源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm# 安装mysql源rpm -ivh mysql57-community-release-el7-8.noarch.rpm# 安装MySQLyum install mysql-community-server
2017-08-15 08:40:19
183
原创 hadoop安装时容易出现的错误
1.设置主机名错误看日志，会发现下面的错误这是由于主机名设置错误造成的，请检查配置文件中关于主机名的设置，是否正确。首先使用 hostname 命令查看主机名是否正确；然后使用 more /etc/sysconfig/network 命令查看主机名是否记录在文件中；最后使用 more /etc/hosts 命令查看 ip 与主机名的映射是否设置。2.ip 设置错误
2017-08-14 20:15:31
1311
原创 hadoop安装需要配置的文件
Yarn-site.xmlyarn.nodemanager.aux-services需配置成mapreduce_shuffle，才可运行MapReduce程序yarn.resourcemanager.hostnameyarn.resourcemanager.address 客户端通过该地址向RM提交应用程序，杀死应用程序等。yarn.resour
2017-08-14 20:13:55
552
原创 hadoop的安装
上一片博客我们认识了什么是hadoop下面我们徐熙一下如何去安装hadoop单节点安装。hadoop单节点安装1、设置静态ipvim /etc/sysconfig/network-scripts/ifcfg-enth0(最后一个是自己的网卡名)BOOTPROTO=static(静态ip)ONBOOT=yes(开机启动)IPADDR=192.168.122.100(ip地
2017-08-14 20:09:20
191
原创 什么是hadoop
什么是hadoop？下面带大家认识一下hadoop。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部
2017-08-14 19:53:33
190
原创 如何设置免密登陆
1、远程登录192.168.3.xxx#ssh root@192.168.3.xxx2、创建公钥和私钥#ssh-keygen3、查看隐藏文件#ll -a#cd .ssh#ll4、复制公钥#ssh-copy-id root@192.168.3.1405、测试ssh root@192.168.3.139==============
2017-08-14 19:45:34
1046
原创 获取当天的日期 判断当天为星期几
//判断今天为星期几Date today=new Date();Calendar c=Calendar.getInstance();c.setTime(today);//这里weekday为int类型 1-7 1为周日一次类推int weekday=c.get(Calendar.DAY_OF_WEEK);
2017-07-27 19:10:39
985
原创 Java面向对象
1.什么是面向对象? 面向对象（Object Oriented）是一种新兴的程序设计方法，或者是一种新的程序设计规范(paradigm)，其基本思想是使用对象、类、继承、封装、多态等基本概念来进行程序设计。从现实世界中客观存在的事物（即对象）出发来构造软件系统，并且在系统构造中尽可能运用人类的自然思维方式。2.什么是对象？ 对象是系统中用来描述客观事物的一个实
2017-07-09 14:38:39
139
原创 高效的读写
package MyB;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.
2017-06-26 21:41:19
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人