![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Vmware学习
文章平均质量分 65
大数据知识
3+2=小5?
一个菜鸡码农
展开
-
VMware环境配置
vmware环境配置:JDK、Hadoop、hive、sredis、spark、Scala等原创 2022-11-25 22:56:42 · 2692 阅读 · 1 评论 -
hive初始化报错Host ‘Master001‘ is not allowed to connect to this MySQL server
Underlying cause: java.sql.SQLException : null, message from server: "Host 'Master001' is not allowed to connect to this MySQL server"SQL Error code: 1130原创 2022-11-23 13:22:21 · 972 阅读 · 0 评论 -
maven安装
maven配置安装原创 2022-11-04 16:20:46 · 121 阅读 · 0 评论 -
VMware之Hadoop完全分布式安装
1、 集群搭建形式Hadoop环境搭建分为三种形式:单机模式、伪分布式模式、完全分布模式(1)单机模式—— 在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。(2)伪分布式—— 也是在一台单机上运行,但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上,既当NameNode,又当DataNode,或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算,故称为“伪分布式”。(3)完全分布式—— 真正的分布式,由3个及以上的原创 2020-05-27 11:02:47 · 3983 阅读 · 1 评论 -
xshell软件安装使用
Xshell安装使用原创 2022-09-29 16:39:54 · 619 阅读 · 0 评论 -
大数据实训项目
文章目录一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储数据分析、转化、演示二、环境配置1、JDK2、Hadoop集群3、zookeeper4、hive5、sqoop6、flume三、爬取数据1、创建项目2、编写主程序进行数据爬取3、编写pipelines,进行数据保存4、编写settings,进行相关配置5、编写items,进行字典定义6、爬取数据四、数据分析1、Flume收集日志2、数据存储到hdfs3、数据分析一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储数据分析原创 2020-07-14 23:03:31 · 17086 阅读 · 3 评论 -
VMware之CentOS 7系统重置root密码
首先,启动CentOS 7系统,在选择进入系统的界面按 “e” 进入编辑页面。往下滑,找到 “linux16” 开头的那一段,在最后添加 “ init=/bin/sh”按 “ctrl+X” 组合键进入单用户模式输入“mount -o remount,rw /”,然后再输入 “passwd”,回车输入两次要修改的密码输入 “touch /.autorelabel”,回车输入 “exec /sbin/init”,回车重启虚拟机...原创 2021-01-14 10:48:27 · 238 阅读 · 0 评论 -
flume日志监听
新建文件data.confa1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/module/flume-1.6.0/dirfilea1.sources.r1.basenameHeader = truea1.sources.r1.basenameHeaderKey = file原创 2021-01-14 10:49:06 · 198 阅读 · 0 评论 -
spark安装详情
一、认识spark1、Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。2、Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。3、尽原创 2020-06-18 10:00:06 · 232 阅读 · 0 评论 -
Hbase完全分布式安装
1、配置zookeeper2、配置Hadoophttps://blog.csdn.net/lnxcw/article/details/1063379283、启动zookeeper集群(三台)sh zkServer.sh start4.格式化zookeeper在zk的leader节点上执行:hdfs zkfc -formatZK这个指令的作用是在zookeeper集群上生成ha节点(ns节点)5、启动journalnode集群sh hadoop-daemons.sh start原创 2020-06-17 10:13:11 · 188 阅读 · 0 评论 -
hbase操作详情
1、启动hbase客户端./bin/hbase shell2、查看当前状态status3、建表和列族create ‘tbx1’,‘cf1’create ‘tabx4’, {NAME => ‘cf1’, VERSIONS => 3}4、查看列表:list5、查看结构describe ‘tabx4’ 或desc ‘tabx4’6、put添加Put命令参数说明:表名,键值,列族,列明,值put ‘tabx4’,‘rk1’,‘cf1:c1’,‘v11原创 2020-06-15 18:27:39 · 383 阅读 · 1 评论 -
Hbase安装详情
一、认识Hbase1、概述基于hadoop的数据库工具 来源于google的一片论文BigTable 后来由Apache做了开源实现 就是HBase 是一种NoSQL 非关系型的数据库 不符合关系型数据库的范式 适合存储 半结构化 非结构化 的数据 适合存储 稀疏的数据空的数据不占用空间 面向列(族)进行存储 提供实时增删改查的能力 是一种真正的数据库 可以存储海量数据 性能也很强大可以实现上亿条记录的毫秒级别的查询 但是不能提供严格的事务控制原创 2020-06-15 10:30:17 · 199 阅读 · 0 评论 -
Redis下载及安装(windowsX64版)
1、下载下载地址:https://github.com/MicrosoftArchive/redis/releases2、安装Redis的安装将下载的压缩包解压命令行进入解压目录,输入命令:>redis-server redis.windows.conf接下来部署Redis为windows下的服务 首先关掉上一个窗口再打开一个新的cmd命令窗口此种方式虽然启动了Redis,但只要关闭cmd窗口,Redis就会停止运行,所以将Redis设置成Windows下的服务:redis-serv原创 2020-06-05 18:51:13 · 4434 阅读 · 0 评论 -
Hadoop安装详情
1、进入到Hadoop安装包路径下:[root@hadoop01 ~]# cd /opt/software/2、解压安装文件到/opt/module下面[root@hadoop01 software]#tar -zxf hadoop-2.9.2.tar.gz -C /opt/module/3、查看是否解压成功[root@hadoop01 software]# ls /opt/module/hadoop-2.9.24、配置/opt/module/hadoop-2.9.2/etc/had原创 2020-05-25 17:08:21 · 681 阅读 · 0 评论 -
Linux--Vmware安装步骤
安装虚拟机、下载centOS,新建虚拟机并进行相关配置1、安装VMware Workstation 15 for WindowsUA5DR-2ZD4H-089FY-6YQ5T-YPRX6ZF582-0NW5N-H8D2P-0XZEE-Z22VAGA590-86Y05-4806Y-X4PEE-ZV8E0UG5J2-0ME12-M89WY-NPWXX-WQH88YA1...原创 2020-01-14 11:30:34 · 232 阅读 · 0 评论 -
虚拟机连接mysql服务器
一、下载mysql1、centos7对应mysql版本 mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar2、打开winscp 连接虚拟机 将下载好的mysql拖到root目录下面3、解压mysql :tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar4、使用ls命令查看mysql包里面的东西5、下载安装ne...原创 2019-09-09 20:49:12 · 1407 阅读 · 0 评论