大数据实训-车联网
文章平均质量分 59
车联网
enchantedovo
这个作者很懒,什么都没留下…
展开
-
【hbase1】启动HBase服务命令
一、启动Hadoop1.在VMware打开四个虚拟机2.在xshell连接管理3.关闭四个节点的防火墙关闭防火墙systemctl stop firewalldservice iptables stop4.开启zookeeper(高可用)在四台机器中分别按顺序启动服务:zkServer.sh start四台机器分别启动成功之后查看状态:zkServer.sh status5.开启hadoop服务在主节点开启进入hadoop目录cd /root/app/hadoop-2.7原创 2020-09-02 16:05:54 · 4469 阅读 · 0 评论 -
【hbase0】hbase-2.1.9完全分布式部署
hbase-2.1.9完全分布式部署准备安装文件HBase-2.1.91.选择安装版本http://hbase.apache.org/book.html#basic.prerequisites按照hadoop版本选择适合的hbase版本,本实验hadoop版本为2.7.7,hbase为2.1.9在Windows中下载HBase下载网址:https://mirror.bit.edu.cn/apache/hbase/2.1.9/hbase-2.1.9-bin.tar.gz利用filezi原创 2020-09-02 16:01:07 · 304 阅读 · 0 评论 -
高可用HA搭建完使用hdfs fds -ls / 报错
报错信息如下[root@h2 ~]# hadoop fs -ls -ls: java.net.UnknownHostExcion: myclusterUsage: hadoop fs [generic opns] -ls [-d] [-h] [-R] [<pat...]通过https://bbs.csdn.net/topics/390684976?depth_1-utm_s...转载 2020-03-03 11:34:05 · 252 阅读 · 0 评论 -
【superset】BI可视化平台
一、superset登录1.启动superset run -h node03 -p 8188 --with-threads --reload --debugger2. 创建用户export FLASK_APP=supersetflask fab create-admin3.即可登录原创 2021-01-18 17:58:10 · 357 阅读 · 0 评论 -
【HBase】HBase学习笔记
这里是目录一、简介1. HDFS&HBase&Hive1.1 HDFS1.2 HBase1.3 Hive2. HBase2.1 结构2.2 功能二、集群启动1. HDFS2. HBase3. 查看状态三、HBase数据模型1.简介2. 术语2.1 表(Table)2.2 行键(row key)2.3 列(Column)3.3 列簇(Column Family)2.4 列标识符(Column Qualifier)2.5 单元格(Cell)四、Hbase Java编程1. Api2. HBase原创 2021-01-18 16:17:24 · 700 阅读 · 0 评论 -
【kafka】启动命令
一、zookeeper启动:zkServer.sh start(三台)zkCli.sh start(任意一台)关闭:zkServer.sh stopzkCli.sh stop二、kafka前台:(主节点)cd /export/servers/kafka_2.11-0.10.0.0 bin/kafka-server-start.sh config/server.properties后台:cd /export/servers/kafka_2.11-0.10.0.0nohup b原创 2021-01-14 20:39:19 · 391 阅读 · 1 评论 -
【flink】flink基础
一、Flink中的流与批批处理的特点是有界、持久、大量,非常适合需要访问全部记录才能完成的计算工作,一般用于离线统计。流处理的特点是无界、实时,无需针对整个数据集执行操作,而是对通过系统 传输的每个数据项执行操作,一般用于实时统计。二、架构1.重要角色JobManager处理器:也称之为Master,用于协调分布式执行,它们用来调度task,协调检查点,协调失败时恢复等。Flink运行时至少存在一个master处理器,如果配置高可用模式则会存在多个master处理器,它们其中有一个是le原创 2021-01-14 16:28:42 · 121 阅读 · 0 评论 -
【hadoop】启动集群
一、启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群。注意:首次启动HDFS时,必须对其进行格式化操作。本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的。在node1上执行格式化指令hadoop namenode -format二、单节点逐个启动在node1主机上使用以下命令启动HDFS NameNode:hadoop-daemon.sh start namenode在node2主机上使用以下命令启动secondarynamenode:hadoop-原创 2021-01-10 14:42:51 · 950 阅读 · 2 评论 -
【01】虚拟机配置网络
本次实验要求:1.vmware加载虚拟机镜像2.虚拟机环境的配置进行设置3.内网通,外网通目录一、VMware加载虚拟机镜像1.下载好虚拟机文件2.打开VMware,加载镜像二、虚拟机环境的配置进行设置三、配置网络(内网通,外网通)1.vmware的网段配置1.1打开网络编辑器1.2设置网段1.3设置网关1.4设置动态获取ip的范围1.5设置本机的vmnet8的网段1)打开网络适配器2)设置vmnet8 ipv42.静态ip和网关的设置2.1设置静态 ip 的文件2.2重启网络3.linux防火.原创 2021-01-09 19:38:41 · 1533 阅读 · 4 评论