大数据
@进行中
qq 1171901273
展开
-
安装hive2.3.4
必须先启动hadoop集群,再启动hive,不然会报错下载apache-hive-2.3.4-bin.tar.gz网址:http://mirror.bit.edu.cn/apache/hive/将下载的压缩包传到linux服务器上 /usr/local解压,tar -zxvf apache-hive-2.3.4-bin.tar.gz重命名为 hive2.3.4 mv ...原创 2019-01-17 16:04:07 · 1654 阅读 · 0 评论 -
安装kafka集群
在安装kafka之前首先要先安装zookeeper 安装详细步骤地址https://blog.csdn.net/lu1171901273/article/details/87606517下载kafka 地址https://archive.apache.org/dist/kafka 保存路径自定义,个人习惯放在/usr/local 目录下wgethttps://archive.a...原创 2019-02-21 11:58:00 · 249 阅读 · 0 评论 -
redhat7安装elasticsearch详解
下载地址,官网https://www.elastic.co/downloads/past-releases,下载自己需要的版本wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz我安装的是这个版本的,很多版本的命令行语句是不一样的5的时候是curl -XGET 'htt...原创 2019-02-26 17:37:12 · 1544 阅读 · 0 评论 -
安装kibana(ElasticSearch图形化工具)及基本操作
选择自己想要的版本,这个必须要和elasticsearch(下面简称es)版本相对应,不然kibana访问不了elasticsearch安装详解https://blog.csdn.net/lu1171901273/article/details/87938951kibana下载地址,https://www.elastic.co/guide/en/kibana/current/instal...原创 2019-04-10 19:31:49 · 2274 阅读 · 0 评论 -
HBase架构原理详解和数据的读写流程
HBase架构详解和数据的读写流程HBase架构图理解HMaster链接Zookeeper:HMaster需要知道哪些HRegionServere是活的及HRegionServer所在的位置,然后管理HRegionServer。 HBase内部是通过DFSclient把数据写到HDFS上的 每一个HRegionServer有多个HRegion,每一个HRegion有多个Sto...转载 2019-04-12 15:27:52 · 405 阅读 · 0 评论 -
creator工作中遇到的大数据组件
Apache nifi简单地说,NiFi是为了自动化系统之间的数据流。虽然数据流这种形式很容易理解,但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转。企业拥有多个系统,其中一些系统创建了数据,部分系统消耗了数据。nifi就是一个致力于数据对接的集成框架。任何一个大数据应用分析的软件,都需要一个强大的数据抽取组件、数据仓储系统、数据处理引擎、任务调度引擎和流程设计界面。Hado...原创 2019-06-25 17:43:49 · 269 阅读 · 0 评论