![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 84
wanglingli95
希望可以在这个平台上和大牛们一起学习、进步!
展开
-
伪分布Hadoop下安装Hive
下载官网:MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/(3)进入/usr/local/,使用rpm安装mysql解压后的其中5个包(按照以下顺序安装)(4)启动/关闭Mysql服务器二、查看Mysql的原始密码并登录进入mysql(1)查看原始密码 (2)使用原始密码登录(3)修改密码为Ad原创 2024-04-21 11:13:58 · 909 阅读 · 1 评论 -
Spark编程基础
RDD是一个容错的、只读的、可进行并行操作的数据结构,是一个分布在集群各个节点中的存放元素的集合,即弹性分布式数据集。原创 2024-04-06 19:58:55 · 1168 阅读 · 0 评论 -
happybase基本操作方法
ties进入HBase安装目录:cd /usr/local/hbase-2.5.6/conf创建文件:vi log4j.properties输入内容:log4j.rootLogger=ERROR,console保存文件并关闭::wq。原创 2024-03-28 18:15:39 · 1103 阅读 · 1 评论 -
Python API(happybase)操作Hbase案例
想要使用Python API连接HBase,需要开启HBase的Thrift服务。所以,在Linux服务器上,执行如下命令,开启HBase的Thrfit服务。链接:https://pan.baidu.com/s/14n-2XoXyxZL7hN80cNTJMw。至此启动Thrift服务并安装了HappyBase库后,即可用python代码连接HBase了。某某自来水公司,需要存储大量的缴费明细数据。HBase Thrift的端口默认在9090。贵州省铜仁市德江县7单元267室。行键(RowKey)原创 2024-03-27 23:43:41 · 1630 阅读 · 0 评论 -
启动Hbase shell时有许多日志信息的解决办法
在使用HBase时,当我们启动HBase shell时,会显示大量的日志信息,这些日志信息可能会干扰我们的操作,我们希望在启动HBase shell时不显示这些日志信息。原创 2024-03-26 19:40:14 · 572 阅读 · 0 评论 -
HBase常用的Filter过滤器操作
1.ValueFilter过滤器根据数据列单元格的值进行过滤。值过滤器的比较方式有二进制位比较(binary)和子字符串匹配比较(substring(1)按二进制位进行值比较使用get命令,查询students表格中,行键为s001,单元格值为Jack的数据结果。#ValueFilter(=,'binary:Jack')是值过滤器,比较方式是binary二进制1 row(s)使用scan命令,扫描出students表格中,单元格值为90的数据结果。原创 2024-03-26 18:49:12 · 1583 阅读 · 0 评论 -
HBase Shell的应用案例
电商( eshop)平台具有海量数据、高并发访问、高速读写等特征,适合使用HBase分布式数据库进行数据存储。本节通过一个 HBase在电商平台的应用案例,熟练掌握并综合运用HBase Shell命令行终端提供的各种操作命令。原创 2024-03-22 18:03:11 · 991 阅读 · 0 评论 -
HBase Shell基本操作
先在Linux Shell命令行终端执行脚本启动HDFS,再执行脚本启动HBase。如果Linux系统已配置HBase环境变量,可直接在任意目录下执行脚本命令,就可进入HBase Shell的命令行终端环境,exit可以退出HBase Shell(我安装的是伪分布式的HBase)。原创 2024-03-21 21:19:16 · 1813 阅读 · 0 评论 -
伪分布式Spark集群搭建
软件版本安装包VMware虚拟机16.exeSSH连接工具FinalShellLinux OSCentOS7.5.isoJDK1.8Spark3.2.1。原创 2024-03-11 17:23:42 · 814 阅读 · 0 评论 -
伪分布HBase的安装与部署
(1)熟悉掌握使用在Linux下安装伪分布式HBase。(2)熟悉掌握使用在HBase伪分布式下使用自带Zookeeper。原创 2024-03-11 17:04:41 · 1520 阅读 · 0 评论 -
在IDEA使用HBase Java API连接
根据官方 API 介绍,HBase 的客户端连接由 ConnectionFactory 类来创建,用户使用完成之后需要手动关闭连接。将对应版本的压缩包下载到本地,并新建一个文件夹Localwarehouse,用来保存下载的依赖文件。打开maven安装包下的conf文件夹下面的settings.xml,配置。(开始新建的文件夹Localwarehouse)原创 2024-03-08 17:56:50 · 1367 阅读 · 0 评论 -
伪分布Hadoop的安装与部署
(1)熟悉掌握使用在Linux下安装JDK。(2)熟悉掌握使用在Linux下安装Hadoop。(3)熟悉掌握使用配置SSH免密登录。Windows 10系统64位操作电脑配置VMware16用于搭建所需虚拟机Linux系统Linux系统CentOS 7已配置完成hadoop用于安装JDK与Hadoop伪分布式的搭建JDK1.8Hadoop3.1.4在实际应用中,如果是做简单的测试数据不大,可以使用Hadoop伪分布式集群来运算。原创 2024-03-09 16:49:37 · 1008 阅读 · 0 评论 -
Spark算子
RDD算子原创 2023-11-12 13:49:40 · 242 阅读 · 0 评论 -
在IDEA运行spark程序(搭建Spark开发环境)
在IDEA中运行spark程序原创 2023-11-01 15:56:32 · 12458 阅读 · 8 评论