大数据
文章平均质量分 70
Firewine
这是一个奇妙的世界
展开
-
spark练习例子——单词计数——pyspark
简单明了,无难度,需要适应新版本改变。原创 2023-05-06 10:45:27 · 658 阅读 · 0 评论 -
hive-sql学习及笔记
hive 笔记hive-site.xml 配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!--配置mysql 连接--> <property> <name>javax.jdo.option.Con原创 2021-11-05 19:47:18 · 1459 阅读 · 0 评论 -
hadoop3.3.0版本搭建
文章目录hadoop——3.2.1 版本默认的端口伪分布式设置配置文件分布式操作配置文件启动命令关闭命令,相反即可注:hadoop——3.2.1 版本默认的端口namenode : 9870resourceManager : 8088mapreduce jobhistory server : 19888伪分布式设置配置文件core-site.xml (记得设置hadoop-env.sh 的java环境)<configuration> <propert原创 2020-09-16 09:29:40 · 777 阅读 · 0 评论 -
集群时间同步-用于hadoop集群
集群时间同步-用于hadoop集群时间同步方式: 找一个机器,作为时间服务器,所有机器与这条集群时间进行定时的同步,比如每隔10分钟,同步一次时间配置时间同步具体实操:时间服务器配置(必须是root用户)检查ntp是否安装rpm -qa | grep ntp修改ntp配置文件vim /etc/net.conf 下面是参考配置a)修改1(授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间)#restrict 192.168.1.原创 2020-09-16 09:17:01 · 131 阅读 · 0 评论 -
ELK集群搭建(docker or 宿主机)
由于是内网,没有设置密码和启动x-pack先搭建测试环境1. 关闭防火墙2. 同步每个节点的配置文件(只标注改动部分)配置文件容器docker需要物理网卡地址,映射,所以添加network.publish_hostcluster.name: bigdatanode.master: truenode.data: truenode.name: node184network.host: 0.0.0.0network.publish_host: 192.168.20.184# 每个节点原创 2020-06-03 16:37:06 · 566 阅读 · 0 评论 -
Hbase安装及客户端测试及笔记
文章目录HBASE 入梦Hbase 简介什么是HbaseHbase 特点Hbase 架构Hbase 中的角色HMasterRegionServer其他组件HBase 安装Zookeeper 正常部署hadoop正常部署HBase 安装1. 解压到目录2. 配置文件同步其他服务器启动服务查看HBase 页面HBase Shell操作基本操作表的操作HBase数据结构RowKeyColumn Fami...原创 2020-02-19 17:45:41 · 859 阅读 · 2 评论 -
Zookeeper 的分布式安装部署及客户端测试
文章目录分布式安装部署分布式安装配置服务器编号配置zoo.cfg文件客户端命令行操作API 应用环境搭建配置log4j.properties下面是代码期间注意问题:分布式安装部署集群规划,—— 在大数据栏里分布式安装解压安装等,与hadoop 一样采用xsync.sh 同步文件配置服务器编号在软件目录下,创建zkData在目录下,创建myid文件并编辑编号 如 234...原创 2020-02-19 17:21:41 · 338 阅读 · 0 评论 -
搭建hadoop-完全分布式模式:版本2.7.2
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名,设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这是一台主机的配置,其他另外两台要一摸一样配置群起集群1. 配置slaves2. 启动集群测试是否启动成功集群启动/停止方式组件分别启动停止整体启动需要...原创 2020-02-15 00:34:33 · 196 阅读 · 0 评论