Linux之大数据库

已于 2024-04-30 20:20:40 修改
阅读量433 收藏 9
点赞数 13
文章标签： linux 数据库 运维
于 2024-04-30 20:12:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rgz147123/article/details/138355066
版权

        Linux、Hadoop、Java、HBase、Hive和MySQL在大数据处理和存储领域各自扮演着重要的角色，并且它们之间有着一定的关联和依赖关系。以下是它们之间的简要关系描述：

Linux与Hadoop：

        一、准备环境

  1. 关闭防火墙和SELinux：为了避免在安装和配置过程中遇到网络问题或权限问题，建议暂时关闭防火墙和SELinux。在CentOS系统中，可以使用systemctl stop firewalld命令关闭防火墙，使用setenforce 0命令临时关闭SELinux。        
  2. 安装JDK：首先确保你的Linux系统上已经安装了JDK。你可以从Oracle官网下载适合你Linux发行版的JDK，然后按照官方文档进行安装。安装完成后，需要设置JAVA_HOME环境变量，并将其添加到PATH中。

        二、下载并解压Hadoop安装包

  1. 下载Hadoop安装包：从Apache Hadoop官网下载适合你Linux发行版的Hadoop安装包。通常，你会下载到一个以.tar.gz为后缀的压缩包。
  2. 解压Hadoop安装包：使用tar命令解压Hadoop安装包到指定目录，例如/opt/hadoop。命令如下：tar -zxvf hadoop-版本号.tar.gz -C /opt/hadoop。

        三、配置Hadoop环境变量

                core-site.xml：配置Hadoop集群的全局参数，如Hadoop文件系统的默认名称、Hadoop临时目录等。

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-版本号/tmp</value>
</property>
</configuration>

        四、配置Hadoop

  1. hdfs-site.xml：配置Hadoop分布式文件系统（HDFS）的相关参数，如数据块的副本数、NameNode和SecondaryNameNode的地址等。

  2. <configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
<property> 
<name>dfs.namenode.name.dir</name> 
<value>/opt/hadoop/hadoop-版本号/data/namenode</value> 
</property> 
<property> 
<name>dfs.datanode.data.dir</name> 
<value>/opt/hadoop/hadoop-版本号/data/datanode</value> 
</property> 
</configuration>
  3. mapred-site.xml（或yarn-site.xml）：如果你使用的是Hadoop 2.x或更高版本，则可能需要配置MapReduce或YARN的相关参数。这些参数包括作业调度器、内存管理等。
  4. hadoop-env.sh：这是一个shell脚本文件，用于设置Hadoop运行时的环境变量。你可以根据需要修改该文件中的JAVA_HOME和其他环境变量。

        五、格式化HDFS并启动Hadoop

  1. 格式化HDFS：在Hadoop集群中的主节点上，运行hdfs namenode -format命令来格式化HDFS。这将创建一个新的文件系统或重置一个现有的文件系统。
  2. 启动Hadoop：根据你的Hadoop配置，使用适当的命令来启动Hadoop服务。通常，你可以使用start-dfs.sh和start-yarn.sh脚本来启动HDFS和YARN服务。在启动之前，确保你已经设置了正确的Hadoop配置文件和环境变量。

        六、验证Hadoop安装

         你可以通过运行一些简单的Hadoop命令来验证Hadoop是否已经成功安装并运行。例如，你可以使用hadoop version命令来查看Hadoop的版本信息。你还可以使用hdfs dfs -mkdir命令在HDFS上创建一个目录，并使用hdfs dfs -ls命令来查看HDFS上的文件和目录列表。

        请注意，以上步骤是一个基本的指南，并且可能需要根据你的具体环境和需求进行调整。在安装和配置Hadoop时，请务必参考官方文档和社区资源以获取最新和最准确的信息。

Linux与Java：

  • Java是一种跨平台的编程语言，其“一次编写，到处运行”的特性使得它非常受欢迎。
  • Linux系统上可以安装和运行Java虚拟机（JVM），从而支持Java程序的执行。
  • 许多大数据工具和框架，包括Hadoop、HBase、Hive等，都是用Java编写的，因此它们可以在Linux上运行。

  • 1. 安装Java

    首先，确保你的Linux系统上已经安装了Java。你可以通过运行java -version来检查是否已经安装了Java以及安装的版本。

    如果你还没有安装Java，你可以使用Linux的包管理器（如apt、yum等）来安装。例如，在Ubuntu上，你可以使用以下命令来安装OpenJDK：

    sudo apt update
    sudo apt install openjdk-11-jdk

    2. 编写Java程序

    接下来，我们编写一个简单的Java程序。假设我们要编写一个程序，该程序会输出"Hello, World!"。

  • 打开一个文本编辑器（如vi、nano、gedit等）。

  • 创建一个新的文件，名为HelloWorld.java。

  • 在文件中输入以下代码：

  • public class HelloWorld { 
public static void main(String[] args) { 
System.out.println("Hello, World!"); 
} 
}
  • 保存并关闭文件。

  • 3. 编译Java程序

    在Linux中，你可以使用javac命令来编译Java程序。打开终端，导航到包含HelloWorld.java文件的目录，并运行以下命令

    javac HelloWorld.java

    如果编译成功，你会在同一个目录下看到一个名为HelloWorld.class的文件，这是编译后的Java字节码文件。

    4. 运行Java程序

    使用java命令来运行编译后的Java程序。在终端中，运行以下命令：

    java HelloWorld

    你应该会在终端中看到输出"Hello, World!"。

    5. 示例题目

    以下是一些常见的Java编程示例题目，你可以在Linux环境中使用Java来实现它们：

  • 编写一个程序，计算从1到100的整数和。
  • 编写一个程序，从用户那里接收两个数字作为输入，并输出它们的和、差、积和商。
  • 编写一个程序，使用Java的数组来存储一组数字，并计算这组数字的平均值。
  • 编写一个程序，使用Java的Scanner类从用户那里接收一个字符串，并检查该字符串是否是一个回文字符串（正读和反读都一样的字符串）。
  • 编写一个程序，模拟一个简单的猜数字游戏。程序随机生成一个1到100之间的整数，让用户来猜。如果用户猜对了，程序输出"恭喜你，猜对了！"；如果用户猜错了，程序输出"很遗憾，你猜错了。再试一次！"并告诉用户他们猜的数字是太大还是太小。

Linux与HBase：

  • 一、HBase在Linux上的安装与配置

  • 环境准备：

    • 确保Linux系统上已经安装了Java，并设置了JAVA_HOME环境变量。
    • 安装并配置Hadoop，因为HBase是Hadoop的一个子项目，依赖于Hadoop的HDFS和YARN等组件。
    • 安装ZooKeeper，因为HBase使用ZooKeeper进行集群管理。

  • 下载并解压HBase：

    • 从HBase官网下载适合你Linux发行版的HBase安装包。
    • 使用tar命令解压HBase安装包到指定目录，例如/usr/local/hbase
    • export HBASE_HOME=/usr/local/hbase
      export PATH=$PATH:$HBASE_HOME/bin
    • 保存并退出后，运行source ~/.bashrc使环境变量生效。

  • 配置HBase：

    • 进入HBase的conf目录，编辑hbase-env.sh文件，设置JAVA_HOME。
    • 编辑hbase-site.xml文件，配置HBase的相关参数，如HDFS的数据目录、ZooKeeper的地址等。

  • 启动HBase：

    • 先启动Hadoop和ZooKeeper。
    • 运行start-hbase.sh脚本启动HBase。

  • 创建表：

    create 'test_table', 'cf1', 'cf2'
    Configuration config = HBaseConfiguration.create(); 
// 配置ZooKeeper地址等参数... 
Connection connection = ConnectionFactory.createConnection(config); 
Admin admin = connection.getAdmin(); 
HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("test_table")); 
tableDescriptor.addFamily(new HColumnDescriptor("cf1")); 
tableDescriptor.addFamily(new HColumnDescriptor("cf2")); 
admin.createTable(tableDescriptor);
     
    • 使用HBase Shell或Java API创建一个名为test_table的表，包含cf1和cf2两个列族。
    • HBase Shell示例：
    • Java API示例（需要导入HBase的Java库和Hadoop的配置文件）：

  • 插入数据：

    put 'test_table', 'row1', 'cf1:col1', 'value1'

Table table = connection.getTable(TableName.valueOf("test_table"));

Put put = new Put(Bytes.toBytes("row1"));

put.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("col1"), Bytes.toBytes("value1"));

table.put(put);
     
    • 向test_table表的cf1列族中的row1行插入数据，列名为col1，值为value1。
    • HBase Shell示例：
    • Java API示例：

  • 查询数据：

    get 'test_table', 'row1', 'cf1:col1'
    Get get = new Get(Bytes.toBytes("row1"));
    get.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("col1"));
    Result result = table.get(get);
    byte[] value = result.getValue(Bytes.toBytes("cf1"), Bytes.toBytes("col1"));
    String stringValue = Bytes.toString(value);
    System.out.println(stringValue); // 输出 "value1"
    • 查询test_table表的row1行cf1列族中的col1列的值。
    • HBase Shell示例：
    • Java API示例：

Linux与Hive：

  • Linux与Hive的结合主要体现在Hive在Linux系统上的部署和使用。Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL语言来查询和管理存储在Hadoop分布式文件系统（HDFS）中的数据。以下是一个简化的流程，并附带一些基本的例题讲解。

    一、Hive在Linux上的部署

  • 环境准备：

    • 确保Linux系统上已经安装了Java，并设置了JAVA_HOME环境变量。
    • 安装并配置Hadoop集群，因为Hive需要Hadoop的HDFS和YARN等组件作为底层支持。

  • 下载并解压Hive：

    • 从Hive官网下载适合你Linux发行版的Hive安装包。
    • 使用tar命令解压Hive安装包到指定目录，例如/usr/local/hive。

  • 配置Hive：

    • 进入Hive的conf目录，编辑hive-site.xml文件，配置Hive的相关参数，如Hadoop的配置文件路径、Hive的数据仓库位置等。
    • 在hive-env.sh文件中设置HADOOP_HOME和HIVE_CONF_DIR等环境变量。

  • 初始化Hive的元数据库：

    • Hive使用元数据来存储数据库、表等结构信息，默认情况下，Hive支持使用MySQL、Derby等数据库来存储元数据。这里以MySQL为例，需要先在MySQL中创建相应的数据库和用户，并赋予相应的权限。
    • 在Hive的hive-site.xml文件中配置MySQL的连接信息。
    • 运行Hive的初始化脚本（如schematool -dbType mysql -initSchema）来初始化Hive的元数据库。

  • 启动Hive：

    • 确保Hadoop集群已经启动。
    • 在Hive的bin目录下运行hive命令来启动Hive的CLI（命令行界面）。

  • 创建数据库：

    CREATE DATABASE mydb;
    USE mydb;

  • 创建表：

    假设我们有一个HDFS上的文本文件/user/hive/warehouse/mydb.db/mytable/data.txt，内容如下：

    1,John,Doe,30
    2,Jane,Doe,25

    我们可以使用Hive来创建一个表来映射这个文件：

    CREATE TABLE mytable (id INT, first_name STRING, last_name STRING, age INT)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE;
    -- 加载数据到Hive表中
    LOAD DATA LOCAL INPATH '/path/to/local/data.txt' INTO TABLE mytable;
    -- 或者如果数据已经在HDFS上
    LOAD DATA INPATH '/user/hive/warehouse/mydb.db/mytable/data.txt' INTO TABLE mytable;

  • 查询数据：

    SELECT * FROM mytable;
    SELECT first_name, last_name FROM mytable WHERE age > 28;

  • 插入数据：

    Hive主要支持批处理操作，所以通常不使用INSERT语句来插入单条记录。但是，你可以使用LOAD DATA命令来加载数据，或者使用Hive的外部表来映射HDFS上的数据。

  • 创建分区表：

    分区表可以提高查询性能，因为Hive可以只扫描包含所需数据的分区。

    CREATE TABLE partitioned_table (id INT, name STRING)
    PARTITIONED BY (year INT, month INT)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ',';
    -- 加载数据到指定分区
    LOAD DATA LOCAL INPATH '/path/to/local/data_2023_01.txt' INTO TABLE partitioned_table PARTITION (year=2023, month=1);

  • 其他操作：

    • 删除表：DROP TABLE mytable;
    • 修改表结构（注意：Hive不支持像传统数据库那样直接修改表结构，但可以通过其他方式如ALTER TABLE命令来添加列或分区等）
    • 执行HiveQL的其他语句，如JOIN、GROUP BY、ORDER BY等。

Linux与MySQL：

        Linux与MySQL的结合主要体现在Linux系统上MySQL数据库的部署、连接、操作以及基于MySQL的SQL查询和数据管理。下面我将简要介绍Linux与MySQL的实现，并给出一些基本的例题讲解。

一、MySQL在Linux上的部署

  • 环境准备：

    • 确保Linux系统上已经安装了Java（虽然MySQL本身并不需要Java，但很多与MySQL相关的应用和服务可能需要）。
    • 根据你的Linux发行版，可能需要安装一些额外的库和依赖。

  • 下载并解压MySQL：

    • 从MySQL官网下载适合你Linux发行版的MySQL安装包。
    • 使用tar命令或其他工具解压安装包到指定目录，例如/usr/local/mysql。

  • 配置MySQL：

    • 创建一个MySQL用户和用户组（如果还没有的话）。
    • 进入MySQL的support-files目录，使用mysql_install_db脚本来初始化数据库。
    • 复制MySQL的配置文件（如my.cnf或my.ini）到适当的目录，并根据需要进行修改。

  • 启动MySQL：

    • 使用mysqld_safe命令或你Linux发行版提供的MySQL服务管理工具来启动MySQL服务。

  • 连接MySQL：

    在Linux命令行中，你可以使用mysql客户端工具来连接MySQL数据库。基本语法如下：

    mysql -h 主机名 -u 用户名 -p

    例如，连接到本地MySQL服务器并使用root用户：

    mysql -u root -p

    然后系统会提示你输入root用户的密码。

  • 创建数据库：

    CREATE DATABASE mydatabase;
    USE mydatabase;

  • 创建表：

    
	CREATE TABLE users ( 

	id INT AUTO_INCREMENT PRIMARY KEY, 

	name VARCHAR(50) NOT NULL, 

	email VARCHAR(100) NOT NULL UNIQUE 

	);

  • 插入数据：

    INSERT INTO users (name, email) VALUES ('Alice', 'alice@example.com');
    INSERT INTO users (name, email) VALUES ('Bob', 'bob@example.com');

  • 查询数据：

    SELECT * FROM users;
    SELECT name, email FROM users WHERE id = 1;

  • 更新数据：

    UPDATE users SET email = 'newemail@example.com' WHERE id = 1;

  • 删除数据：

    DELETE FROM users WHERE id = 2;

  • 删除表：

    DROP TABLE users;
  • DROP DATABASE mydatabase;
  • 安全性：在生产环境中，你应该使用强密码，并限制对MySQL服务的访问权限。
  • 备份与恢复：定期备份你的MySQL数据库，以防止数据丢失。你可以使用mysqldump命令来备份数据库。
  • 性能优化：根据你的应用需求和数据量，你可能需要调整MySQL的配置参数，如缓存大小、连接数等。
  • 错误处理：当遇到错误时，查看MySQL的错误日志可以帮助你诊断问题。错误日志的位置和名称取决于你的MySQL配置。

        总的来说，Linux作为一个稳定和灵活的操作系统平台，为大数据处理和存储提供了坚实的基础。Hadoop、Java、HBase、Hive和MySQL等工具和框架在Linux上协同工作，共同支持大规模数据处理和分析的需求。

LookCodes
关注
  • 13
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
PostgreSQL Linux操作PostgreSQL数据库
一碗清深的博客
05-23 8021
Linux 操作PostgreSQL数据库，登录、导入导出数据库。
linux下神通数据库安装包
03-20
在Linux操作系统中，神通数据库（ShenTong Database）是一款重要的国产关系型数据库管理系统，它在许多企业级应用中被广泛使用，特别是在政府、金融、电信等行业。神通数据库以其高效稳定、安全可靠的特点，成为了...
Linux部署达梦数据库超详细教程
热门推荐
陈老老老板的博客
02-02 3万+
有关国产数据库完整的博客太少了，所以就想弄一个完整的专栏给大家提供一些帮助。在现在这种国际形势下，网络安全是每个企业，乃至整个国家重中之重的事，国产化是一种趋势，在整合之前先了解一下达梦数据库。达梦数据库官网：本篇主要讲在Linux上部署达梦数据库教程。1.达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM。
Linux系统之安装PostgreSQL数据库
jks212454的博客
03-27 1万+
Linux系统之安装PostgreSQL数据库
Linux 常用数据库
u010230019的博客
04-11 1817
数据库
Linux系统安装数据库
Star_lll的博客
06-07 2038
这样MySQL中的大部分问题都解决了。
Linux安装Oracle数据库
萌小白的博客
06-27 6393
安装Oracle数据库前先安装一个工具，在联网环境下直接yum即可。在未联网环境下需要去互联网上找到安装包和所有的依赖，我是在有网络环境下安装的。 提前安装所需要的工具及依赖 依赖包安装完成如下图 安装包通过Xftp上传到虚拟机 启动安装程序，等待安装完成 安装创建数据库实例 增长到100%，会生成一个日志到一下路径。 查看默认实例 root用户执行脚本 解决方法 Oracle 库和监听开机自启动设置 原文章位置安装Oracle_clie
Linux安装mysql数据库
qq_52735683的博客
05-02 5282
Wnidows系统的Mysql数据库相信大家都会安装，也很简单，但是在linux系统下就比较麻烦了， 今天就给大家讲解下如何在linux系统下安装Mysql数据库。 安装之前首先要找出系统自带的和Mysql数据库类似的一个软件叫mariadb，要先卸载掉，不然会和mysql数据库冲突，不兼容，造成安装失败。 1.先找出类似mysql的软件 rpm -qa | grep mariadb 一般情况下会找到一个叫mariadb-libs-5.5.65-1.el7.x86_64的软件，卸载掉；如果没找到那
【教程】linux 安装 mysql 数据库
发发的博客
04-19 2830
linux 服务器上安装 mysql
Linux修改MySQL数据库密码
m0_72838865的博客
08-31 1万+
在文件内容 [mysqld] 下方添加“跳过密码登录”的代码skip-grant-tables ，保存后退出。2.1在linux中，执行下面命令，重启mysql服务(服务名可能不一样会导致报错，按自己mysql服务名为主)将/etc/my.cnf中[mysqld]下方内容中的skip-grant-tables注释就行。-- 注意：此时不需要密码也能登录MySQL。3.重新登录 MySQL 查看是否需要密码进行登录。1.修改数据库配置文件, 使之登录不需要密码。5.还原配置文件设置, 使之登录需要密码。...
Linux安装MariaDB数据库
qq_55624813的博客
11-16 6621
目录 1. 下载MariaDB数据库 2 确认下载 3 安装完成提示 4 数据库启动 5. 数据库初始化操作 6. 测试数据库用户名和密码是否有效 7.Mysql数据库远程访问配置 7.1 关于链接数据库的说明 7.2 配置数据库权限配置说明 7.3 配置Linux数据库权限 7.3.1 切换数据库mysql 7.3.2 修改数据库表 8. 配置Linux防火墙策略 8.1 检查防火墙状态 8.2 防火墙配置 8.3 手动关闭防火墙 8.4 手动开放防火墙端口 8.5 数
linux中修改数据库密码
08-23
linux，centos7中忘记数据库密码时，进行密码修改
linux 安装达梦数据库
11-30
环境：系统：红帽linux企业版4（红旗LINUX也是一样，会更简单） jakarta-tomcat-5.0.28.tar.gz（二进制源码） jdk-1_5_0_15-linux-i586-rpm.bin（RPM包） 达梦数据库
Linux安装oracle数据库完整版
08-19
"Linux安装oracle数据库完整版" Linux 环境 Oracle 19c 安装手册是指在 Linux 操作系统中安装 Oracle 19c 数据库的完整步骤。以下是安装手册的知识点总结： 一、文档目的 本文档旨在指导用户在 Linux 环境中安装 ...
Linux版本达梦数据库8
02-18
1. 高性能：达梦数据库8采用优化的查询执行引擎，支持并行计算，能有效提升大数据量查询和处理的效率，尤其在OLAP（在线分析处理）场景下表现出色。 2. 高可用性：提供多种高可用解决方案，如主备模式、集群模式、...
Linux：基础命令学习
qq_55038440的博客
07-20 1246
实例：-F根据文件类型在列出的文件名称后加一符号。实例： -R 递归显示目录中的所有文件和子目录。. 开头的隐藏文件也会列出。可执行文件则加 "*"，用于显示目录文件信息。
【Linux】条件变量及生产者消费者模型
最新发布
2301_78636079的博客
07-23 966
条件变量与生产消费者模型
Linux：进程信号（一.认识信号、信号的产生及深层理解、Term与Core）
qq_74415153的博客
07-23 1401
1.认识信号 进程看待信号方式 2.信号的产生 2.1信号的处理的方式 --- signal()函数 2.2kil指令产生信号 2.3键盘产生信号 2.4系统调用发送信号 -kil系统调 用、raise()和abort()库函数 2.5软件条件产生信号 2.6异常产生信号 3.信号产生的深层理解 键盘产生信号 异常产生信号 4.Term与Core core文件
【Linux】-----权限详解
m0_73470633的博客
07-21 726
Linux权限详解,看这一篇就够了！！！！！！
linux查看mysql数据库大小
05-19
可以通过以下步骤查看 MySQL 数据库的大小： 1. 登录 MySQL： ``` mysql -u username -p ``` 其中 `username` 是你的 MySQL 用户名。 2. 选择你要查看的数据库： ``` use your_database_name; ``` 其中 `your_...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值