qsl428的博客

原创 IDEA....

原创 伪分布式.

rpm -e --nodeps 删除的包显示未找到命令。

原创 hadoop

Apache Hadoop 各 个 版 本 的 下 载 网 址 ：https://archive.apache.org/dist/hadoop /common/。本教材选用的是 Hadoop 2.7.1 版本，安装包为。用户下验证能否嵌套登录本机，若可以不输入密码登录，则本机通过密钥登录。步骤五：配置两个子节点slave1、slave2的JDK环境。在页面上不能直接查看文件内容，需要下载到本地系统才行。如果该文件权限太大，关闭防火墙后要查看防火墙的状态，确认一下。：本地库文件，支持对数据进行压缩和解压。

原创 hadoop的hive安装与配置教程

(1)将MySQL数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive安装目录的lib下；将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件，更名为 hive-site.xml。（1）MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。

原创 作业二 3.15

1.配置临时IP地址查看网络接口ifconfig 仅仅查看当前活动状态的网络接口ifconfig eth0 仅查看eth0网卡状态信息ifconfig -a 即ifconfig -all 查看所有启动禁用的网络接口ip a 查看所有的网络接口信息启动网卡ifup eth0关闭网卡临时修改IP地址，立即生效，重启服务器或网络失效[root@lucas ~]# ifconfig eth0 192.168.56.113 ->默认24掩码永久IP。

原创 作业一3.8

1、Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、XML、HTML、各类报表、图片和音频、视频信息等。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。

原创 2024.3.8 Spark基础

3.Spark计算框架在处理数据时，所有的中间数据都保存在内存中，从而减少磁盘读写操作，提高框架计算效率。4.Spark是一种计算框架，不负责数据的存储和管理，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。2.它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。