![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
王侯相将
get out of your comfort zone !
展开
-
mobaxtrem使用方法
moabaxtrem使用技巧总结。原创 2022-09-01 17:18:18 · 479 阅读 · 0 评论 -
Hive2安装Tez计算引擎
一、Tez介绍ApacheTEZ®项目旨在构建一个应用程序框架,该框架允许使用复杂的有向无环图来处理数据。 它当前构建在Apache Hadoop YARN之上。 Tez的2个主要设计主题是: 通过以下方式增强最终用户的能力: 富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型 不可知数据类型 简化部署 执行性能 与Map Reduce相比性能提升 最佳资源管理 在运行时计划重新配置 动态物理数据流决策通过允许诸如Apache Hive和Apache Pig之类的项目运行复杂的DAG任原创 2021-12-01 16:06:30 · 1381 阅读 · 0 评论 -
es7安装指南
==**es7安装比较简单,我参照这两篇安装好的。**==1.Elasticsearch 7.2 安装方法 及常见错误以及详细配置介绍https://blog.csdn.net/ltgsoldier1/article/details/973931542.elasticsearch安装 及 启动异常解决https://blog.csdn.net/happyzxs/article/detai...转载 2020-04-02 14:32:03 · 1094 阅读 · 0 评论 -
flink安装指南
文章目录1.下载flink压缩包2.上传到机器3.解压4.配置环境变量5.修改 ./conf/flink-conf.yaml 文件6.修改 /conf/slave文件7.启动测试查看Yarn模式1.下载flink压缩包点击下载:flink1.7.22.上传到机器自己上传3.解压tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /...原创 2020-03-29 19:38:59 · 301 阅读 · 0 评论 -
ZooKeeper简单安装操作
文章目录上传zookeeper压缩包解压配置环境变量刷新环境变量进入zk的conf文件配置设置dataDir路径,用来以后保存zk数据设置myid,ip,以及端口号创建zkData文件夹,myid文件到此单机配置完成,多机器的继续远程发送zk到其他节点修改其他机器的myid启动服务查看查看状态上传zookeeper压缩包这边用zk2.4.10压缩包来做演示解压tar /software/...原创 2020-03-27 15:15:39 · 159 阅读 · 0 评论 -
Hive V1.x以及V2.x安装步骤
文章目录Hive安装地址说明1)Hive安装及配置2)Hadoop集群配置3)进入Linux中的MySql4)配置Metastore到MySql5)测试,两种方式进入hive这边默认已有hive的安装包Hive安装地址说明1)Hive官网地址:http://hive.apache.org/2)文档查看地址:https://cwiki.apache.org/confluence/disp...原创 2020-03-25 11:26:11 · 330 阅读 · 0 评论 -
hadoop单机和伪分布安装(基于hadoop v2.7.2)
文章目录1.上传hadoop压缩包到opt下,解压2.进入以下路径,做一些配置修改 ./hadoop-2.7.2/etc/hadoop/3.编辑hadoop-env.sh 配置自己jdk路径4.编辑core-site.xml ,配置ip,端口,读取文件缓冲大小5.编辑hdfs-site.xml,配置副本数等。看图6.复制并修改一个配置名字7.编辑mapred-site.xml,配置框架名字,历史...原创 2020-03-19 15:31:24 · 1523 阅读 · 0 评论 -
HBase 1.x版本安装部署
Hbase生产环境依赖于zookeeper组件,所以需要先将zk安装成功。 1.启动zk集群/opt/zookeeper-3.4.5/bin/zkServer.sh start2.Hadoop 集群的正常部署并启动:$ ~/opt/hadoop-2.7.2/sbin/start-dfs.sh$ ~/opt/hadoop-2.7.2/sbin/start-...原创 2020-02-19 11:45:40 · 245 阅读 · 0 评论 -
virtualBox连接crt和ping百度攻略
最近用vmware总是遇到黑屏情况,网站找不到合适的解决方法,每次遇到这个黑屏问题就得重启电脑并删除虚拟机的lck以及缓存文件,再启动就好了,很费劲,所以想换一个工具测试,看是什么问题,所以百度就搜了一下同款工具,看评价这个Box还不错,就开始用了。但是每个工具都有自己的连接方式,桥接在我这边不能用,只能用nat,也在网上找了很多,现在把我的总结的攻略贴上来。1.2....原创 2019-09-30 09:54:54 · 589 阅读 · 0 评论 -
CDH安装问题总结
目录1.pstree 命令没有找到2.CDH安装hive或oozie时,报错Failed to Create Hive Metastore Database Tables3.CDH 页面实现 未检测到jdk4.CDH 中datanode启动不起来1.pstree 命令没有找到./cloudera-scm-server start./cloudera-scm-serve...原创 2019-07-31 11:14:27 · 592 阅读 · 0 评论 -
idea用maven编译hive和hbase
本文通过idea的maven做一次,方便咱们使用idea的人。创建maven项目(看本文即认为会使用idea) 下载hive自己版本的src源码包,我用hive1.2.1为例 将org文件放入创建好的maven项目的java中。 会保存,需要导入hive和habse的依赖。 通过maven官网下载自己对应版本的依赖,如图 当依赖包导入成功后,重新编译即可。依次点击cl...原创 2019-05-30 16:11:53 · 1126 阅读 · 0 评论