大数据
文章平均质量分 67
Agatha方艺璇
路遥马急的人间,愿成长得明媚,与优秀为伍
展开
-
Hbase之JAVA API增删查改
Hbase增删改查原创 2020-07-07 17:24:10 · 596 阅读 · 0 评论 -
Sqoop “hcatalog does not exist!” 提示信息消除方法
1)进文件夹2)编辑文件3)按一次电脑的esc键,输/HCAT_HOME搜出对应位置4)搜出来后,这一部分全部注释掉5)在每一行的最前面打一个井号6)按一次电脑的esc键,输/HCAT_HOME再继续搜一次7)在每一行的最前面打一个井号。原创 2024-03-07 12:28:20 · 722 阅读 · 0 评论 -
Sqoop1.4.7 Hadoop3 连接Mysql报错 : java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
Sqoop连Mysql报错:Exception in thread “main” java.lang.NoClassDefFoundError:org/apache/commons/lang/StringUtils找不到类,sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x解决版本问题即可,commons-lang版本改为2.xcommons-lang-2.6.jar原创 2024-03-07 12:02:27 · 371 阅读 · 0 评论 -
CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)
找不到类,sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x。5)加入mysql的jdbc驱动包到sqoop的lib文件夹。解决版本问题即可,commons-lang版本改为2.x。2)按esc按钮后 :wq 保存并退出文件。4)看清楚自己的路径是啥,把以下加进去并更改。3)更改文件sqoop-env.sh。1)sqoop版本号查询。2)sqoop帮助查询。1)进去配置文件路径。原创 2024-03-07 11:55:36 · 980 阅读 · 2 评论 -
CentOS7 Zookeeper3.8.3 单节点安装
cd /tools。原创 2024-03-01 15:14:24 · 625 阅读 · 0 评论 -
Hive使用sql命令报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException
进mysql删除元数据数据库重新创建一下退出mysql原创 2024-02-29 10:40:36 · 2297 阅读 · 0 评论 -
HDFS 读写架构
HDFS读写原创 2023-11-01 11:04:09 · 1048 阅读 · 0 评论 -
Hadoop启动缺失ResourceManager
hadoop原创 2023-10-09 17:41:29 · 1454 阅读 · 0 评论 -
HDFS命令行语句
hadoop命令行语句原创 2023-10-09 11:42:28 · 1255 阅读 · 0 评论 -
大数据与Hadoop入门理论
Hadoop入门理论原创 2023-10-07 11:52:20 · 1842 阅读 · 0 评论 -
VMware CentOS7 忘记root密码如何更改
vmware linux centos7改密码原创 2023-09-26 12:53:10 · 276 阅读 · 0 评论 -
CentOS7 yum安装报错:“Could not resolve host: mirrorlist.centos.org; Unknown error“
CentOS7 yum安装出错原创 2023-09-14 13:45:20 · 2149 阅读 · 0 评论 -
hadoop启动报错:Attempting to operate on hdfs namenode as root
hadoop原创 2023-09-12 17:17:57 · 478 阅读 · 0 评论 -
安java的时候/usr/local/java/jdk1.8.0_144/bin/java: 无法执行二进制文件: 可执行文件
然后找jdk的对应版本。查看linux的版本。原创 2023-09-11 15:55:07 · 923 阅读 · 0 评论 -
MobaXterm安装与虚拟机连接
mobaxterm原创 2023-09-07 23:25:53 · 3389 阅读 · 2 评论 -
CentOS7 Hadoop3.3.0 安装与配置
hadoop安装原创 2023-09-04 18:06:42 · 3369 阅读 · 0 评论 -
Kafka环境搭建与相关启动命令
Kafka环境搭建与启动命令原创 2023-09-01 15:22:22 · 1053 阅读 · 0 评论 -
Spark及其生态简介
Spark及其生态简介原创 2023-08-31 15:24:28 · 693 阅读 · 0 评论 -
Spark 环境安装与案例演示
spark 环境安装与案例演示原创 2023-09-01 14:28:31 · 659 阅读 · 0 评论 -
Hive基础命令
红标为常用的数据类型;对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符。文件/data/employee.txt代码加载数据至hive外转内内转外‘EXTERNAL’=‘TURE’和’EXTERNAL’='FALSE’只能大写文件/data/dept.txt创建表格加载数据原创 2023-02-27 16:34:16 · 429 阅读 · 0 评论 -
Navicat Premium 安装 & 注册
navicat安装注册原创 2023-02-20 13:56:28 · 5424 阅读 · 0 评论 -
CentOS7 Hive2.3.9 安装部署(mysql 8.0)
mysql8.x密码必须符合它指定的规则:包含大写字母,小写字母,数字,特殊符号,密码太简单会报错。回车后会有 ,在后面输入查出来的临时密码即可,输密码的时候看不见。假如临时密码为wdert5yhfgncbxdfzser。#配置HADOOP_HOME路径,路径根据自己的修改。#执行创建metastore数据库的命令。#配置HIVE_CONF_DIR路径。#配置JAVA_HOME。#执行下边命令输入密码。原创 2023-02-20 13:43:10 · 818 阅读 · 0 评论 -
Hive 2.3.0 安装部署(mysql 8.0)
hive mysql centos7安装原创 2023-02-20 13:01:16 · 1383 阅读 · 0 评论 -
Hbase Coprocessor 协处理器 与 JavaAPI
协处理器代码原创 2022-11-21 12:37:57 · 1139 阅读 · 0 评论 -
Hbase JAVA API 增删改查操作
【代码】HbaseJAVA API 增删改查操作。原创 2022-10-17 11:22:49 · 2604 阅读 · 4 评论 -
Hbase Filter 过滤器
Hbase Filter 过滤器。原创 2022-10-11 13:44:13 · 1111 阅读 · 2 评论 -
Hbase Java API 介绍
几个主要 Hbase API 类和数据模型之间的对应关系原创 2022-10-11 13:05:55 · 499 阅读 · 0 评论 -
CentOS7 ifconfig命令不显示IP地址或者只显示127.0.0.1
编辑ifcfg-ens33 或者叫 eno16777736,自己 ls 查一下看看是啥。进入/etc/sysconfig/network-scripts/修改文件中的ONBOOT=no 将no改为yes,保存退出。原创 2022-09-21 14:22:24 · 1741 阅读 · 0 评论 -
Hbase使用shell命令报错大集锦: | Master is initializing | Server is not running yet | NoNode for /hbase/master
1、PleaseHoldException: Master is initializing 解决办法2、Server is not running yet3、ERROR: KeeperErrorCode = NoNode for /hbase/master4、NameError: uninitialized constant VERSION原创 2022-09-20 15:37:06 · 4910 阅读 · 0 评论 -
Hbase权限访问命令、报错:Grant无权限(acl文件少了)
hbase权限访问原创 2022-09-20 11:43:11 · 2851 阅读 · 0 评论 -
HIVE未整理格式的笔记。。。
a、数据仓库:数据仓库系统是一个信息提供平台,他从业务处理系统获得数据,主要以星型模型和雪花模型进行数据组织,并为用户提供各种手段从数据中获取信息和知识。数据获取(Data Acquisition)数据存储(Data Storage)数据访问(Data Access)原创 2020-07-07 16:59:22 · 349 阅读 · 0 评论 -
Hbase三大组件 -- Region Server、HMaster、Zookeeper 介绍
1)实时查询,可以认为是从内存中查询,一般响应时间在1秒内。HBase的机制是数据先写入到内存中,当数据量达到一定的量(如128M),再写入磁盘中, 在内存中,是不进行数据的更新或合并操作的,只增加数据,这使得用户的写操作只要进入内存中就可以立即返回,保证了HBase I/O的高性能。1) 在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。原创 2022-09-15 20:02:06 · 5451 阅读 · 5 评论 -
Hbase命令行语句
语法:desc ‘表格名’语法:create ‘表格名’,‘列族名1’,‘列族名2’,‘列族名n’语法:disable ‘表格名’语法:enable ‘表格名’语法:scan ‘表格名’语法:id_disabled ‘表格名’语法:disable_all ‘条件’语法:enable_all ‘条件’语法:put ‘表格名’,‘行键’,‘列族名:列名’,‘值’语法:get ‘表格名’,‘条件1’,‘条件2’原创 2022-09-15 17:28:02 · 5860 阅读 · 0 评论 -
Centos7 bash:jps:Command not found....
jps command not found原创 2022-09-11 20:00:56 · 751 阅读 · 0 评论 -
Hbase简介
1、HBase是建立在Hadoop文件系统之上的面向列的分布式数据库。2、这是一个开源项目。3、它是水平可伸缩的。4、HBase是一种数据模型,类似于Google的大表,旨在提供对大量结构化数据的快速随机访问。5、这是非关系型的数据库。无事务,无外键,等关系型数据库的功能6、它是分布式数据库。7、稀疏矩阵。8、约束少1、行:每个HBase表都由若干行组成,每个行由行键(row key)来标识。2、行键:可使Hbase自动排列。原创 2022-09-06 15:29:09 · 872 阅读 · 0 评论 -
大数据、Hadoop、Hbase介绍
数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。可以是符号、文字、数字、语音、图像、视频等Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。HDFS:分布式文件系统,用于存储数据MapReduce:用于处理数据Yarn:用于资源管理•HBase是建立在Hadoop文件系统之上的面向列的分布式数据库。•这是一个开源项目。•它是水平可伸缩的。原创 2022-09-06 15:20:50 · 2436 阅读 · 7 评论 -
Idea 报错找不到streaming --- NoClassDefFoundError: org/apache/spark/streaming/StreamingContext
错误样式Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext at com.scalalearn.scala.main.LogAnalyzerAppMain$.main(LogAnalyzerAppMain.scala:65) at com.scalalearn.scala.main.LogAnalyzerAppMain.main(LogA原创 2020-10-22 11:35:47 · 714 阅读 · 0 评论 -
Phoenix详细图文安装笔记
Phoenix安装1.网上下载apache-phoenix-4.14.3-HBase-1.3-bin.tar.gz(可以联系我要)2.将文件传输到虚拟机中,放在tools文件夹中3.将文件解压到training文件夹中代码:tar -zvxf apache-phoenix-4.14.3-HBase-1.3-bin.tar.gz -C /training解压中的截图如下进入traini...原创 2020-04-28 18:15:29 · 1344 阅读 · 0 评论 -
NOSQL之MongoDB & MongoDB--Linux和Windows安装
NOSQL之MongoDB一.概念1.什么是NoSQL?NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。2. 为什么使用NoSQL ?...原创 2020-05-02 20:37:39 · 738 阅读 · 0 评论 -
Phoenix客户端安装(SQuirrel-SQL) & 连接Hbase配置 & 基本语法
SQuirrel-SQL1.SQuirrel-SQL的安装1)下载SQuirrel-SQL安装文件squirrel-sql-4.0.0-standard.jar*下载地址:http://squirrel-sql.sourceforge.net/*路径自设2)安装与部署a) 打开电脑的命令提示符cmd进入安装文件的安装目录输入代码:java -jar squirrel-sql-4.0.0...原创 2020-04-28 22:27:40 · 1651 阅读 · 0 评论