实操_大数据学习_v0.0.3.持续更新。。。

最新推荐文章于 2024-05-11 15:15:36 发布
最新推荐文章于 2024-05-11 15:15:36 发布
阅读量255 收藏
点赞数 1
分类专栏： 新知 文章标签： HDFS Hadoop 大数据 ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cc007cc009/article/details/91488955
版权
文件名称版本号作者qq备注
实操_大数据学习_v0.0.3_持续更新。。。v0.0.2飞豺8416837Hadoop2.7.7 | Ubuntu18

文章目录

概念

  • 分布式文件系统
    当数据容量超过所存储在单个物理机上的存储，多个物理机共同完成该数据存储，管理这些跨机器的存储操作就被称为分布式文件系统。
    文件系统管理的资源不一定直接相连本地，而是通过网络节点连接；基于C/S模式，由于对等特性，客户机也可以发布目录作为服务器供其它客户机访问，就像访问本地驱动器一样。
  • Hadoop
    将文件存储于普通计算机组成的集群，这样可以使用廉价计算机构建大规模数据集存储系统。它是分布式存储的基础设施。
  • DataNode与服务器节点
    在数目上，副本与DataNode一对一。
  • Spark
    基于分布式存储进行数据处理，不会存储。理论上，Hadoop可以抛开Spark，使用MapReduce进行数据处理。但一般来说,Spark速度快过MapReduce，它的处理方式是分步的：从集群取出数据处理后，放回集群，再取出更新后的数据，进行处理。
  • HBase-大表
  • 列族
    Apache HBase 中的列被分组为列族。列族的所有列成员具有相同的前缀。例如，courses:history 和 courses:math 都是 courses 列族的成员。冒号字符（:）从列族限定符中分隔列族。列族前缀必须由可打印字符组成。限定尾部，列族限定符可以由任意字节组成。必须在 schema 定义时提前声明列族，而列不需要在 schema 时定义，但可以在表启动并运行时动态地变为列。
    在物理上，所有列族成员一起存储在文件系统上。由于调音（tunings）和存储（storage）规范是在列族级完成的，因此建议所有列族成员具有相同的一般访问模式和大小特征.

HDFS实操

Ubuntu OS环境下的操作 - 其他Linux类似

新建用户组
  • 新增Hadoop用户组和用户 - 也可以直接用管理员
sudo addgroup hadoop_;
sudo adduser --ingroup hadoop_ hduser_ # ↓图

out:

Creating home directory `/home/hduser_' ...
Copying files from `/etc/skel' ...
Enter new UNIX password:

在这里插入图片描述
输入：888888
FullName:cyl
RoomNumber:9527
WorkPhone 等

安装SSH服务
开启ssh

执行命令:ssh localhost | 127.0.0.1进行登录测试,若报错,先安装SSH相关,方能便捷使用功能

sudo apt-get install ssh
sudo apt-get install rsync
免密登陆设置 见RSA登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 可能以上命令没起效 ， 仍然需要输入PW
# Ubuntu系统下,免密若不起效,并不影响后续操作

*
实现效果：执行登录指令可以免密登录成功。
切换到peer身份的用户不需要密码

sudo visudo
# 在%sudo ALL=(ALL:ALL) ALL下面添加一行，按下方提示命令(^代表Ctrl键)保存，保存使用Y,并按下回车。
hduser_ ALL=(ALL) NOPASSWD: ALL
下载安装

在官网下载Hadoop https://hadoop.apache.org/releases.html
https://hadoop.apache.org/release/2.7.7.html
下载binary版,如hadoop-2.7.7.tar.gz

# 或者wget获取 友情提示：wget -o 新名称
sudo mkdir -p /home/app/download/hadoop/;cd /home/app/download/hadoop/;sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

在这里插入图片描述

# 解压
sudo tar xvzf hadoop-xxx.jar -C 目标目录 # sudo tar xvzf hadoop-2.7.7.tar.gz -C /home/app/
配置 - 更新update下述文件
单节点配置

它们在${HADOOP_HOME}/etc/hadoop/目录,${HADOOP_HOME}==Hadoop安装的根目录
如：cd /home/app/hadoop-2.7.7

  • sudo vim ${HADOOP_HOME}/etc/hadoop/core-site.xml
    创建目录
sudo mkdir -p /home/app/hadooptmp;

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/app/hadooptmp</value>
		<description>Parent dir for other temp dir</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://127.0.0.1:54310</value>
		<description>The name of the default file system.</description>
	</property>
</configuration>
  • sudo vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
    sudo mkdir -p /home/app/hdfsdata
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
		<description>Default block replication.</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/home/app/hdfsdata</value>
	</property>
</configuration>
  • sudo vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml # 待创建文件后再执行
    创建文件
sudo cp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml.template ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.jobtracker.address</name>
		<value>127.0.0.1:54311</value>
		<description>MapReduce job tracker runs at this host and port.</description>
	</property>
</configuration>
  • sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注释这行,改为↓
export JAVA_HOME=/data/app/jdk1.8.0_201 # 你自己的JAVA_HOME
启动
  • 单节点配置
# 手动创建目录并授权 hduser_ 是用于操作HDFS的账户，自定
sudo mkdir -p /home/app/hadooptmp;\
sudo chown -R hduser_ /home/app/hadooptmp;\
sudo mkdir -p /home/app/hdfsdata;\
sudo chown -R hduser_ /home/app/hdfsdata;
# 格式化 namenode
cd ${HADOOP_HOME} # 你的Hadoop根目录,因机而异，如 cd /home/app/hadoop-2.7.7.亦可把启动命令配置到环境变量而简化启动脚本
cd ${HADOOP_HOME};bin/hadoop namenode -format
启动节点
cd ${HADOOP_HOME};sbin/start-all.sh
# 接着可能需要多次输入密码，也许要输入用户密码
# 如果启动不完全,需要授权目录,找到Hadoop相关目录进行授权
sudo chown -R hduser_:hadoop_ ${HADOOP_HOME} # 如sudo chown -R hduser_:hadoop_ /home/app/hadoop-2.7.7将权限赋予该用户-hduser_ chown的意思:变更文件所有者，即change owner
# 注意，如果报错目录不存在,请sudo mkdir -p 目录 来创建目录。如↓
sudo mkdir -p /home/app/hadoop-2.7.7/logs
sudo chown -R hduser_:hadoop_ logs
sudo chmod -R 777 logs

启动成功 exec jps 会看到5个Hadoop进程。五个。
在这里插入图片描述

  • Web页面的访问地址

hadoop admin http://localhost:8088/cluster
namenode http://localhost:50070
hdfs namenode http://localhost:8042
hdfs hdfs://localhost:54310 - The name of the default file system.
请访问上述地址试试,跨机访问请开放端口

  • 配置环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/app/hadoop-2.7.7
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
source /etc/profile

这样就可以直接使用hadoop命令了.
在这里插入图片描述

  • 简单命令
命令意义备注别名
hadoop dfs -ls -R /递归查看根目录下的目录，以及子目录在http://domain:50070也可以浏览目录hdfs -ls -R /
MapReduce实操
  • 先看个直观图，它具象了MR的操作
    在这里插入图片描述
实例1 - 过滤关键词 - 获取文中的关键词
  • 步骤 - 阅读注释
# 新建用户目录
hadoop dfs -mkdir -p ~/input007 # ~代替本地用户根目录
# 进入Hadoop根目录
# 将一些xml文件放入input007目录
cd ${HADOOP_HOME};hdfs dfs -put etc/hadoop/*.xml ~/input007 # 新版本使用hdfs dfs
cd ${HADOOP_HOME};hadoop dfs -put etc/hadoop/*.xml ~/input007 # 如果当前用户名称是hduser_，则目录可以省略/user/hduser_
# 执行mp,获取文件中正则dfs[a-z.]+匹配的关键词
hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep ~/input007 ~/output007 'dfs[a-z.]+' # output007目录自动创建
# 执行完毕，看下刚才的成果,从output007里取结果,output007对应上面的output007
hdfs dfs -cat ~/output007/*
  1. 把xml文件放入了HDFS目录后的效果↓，访问地址：http://ip:50070/explorer.html#/user/hduser_/input007
    在这里插入图片描述
  • 成功,结果见下图
    在这里插入图片描述
  • 核实. xml文件里确有这几个关键词↓
    在这里插入图片描述

实际应用场景：过滤敏感词汇 | 查询等

实例2 - 关键词统计

sudo mkdir -p /home/project/files;cd /home/project/files

新建words.txt文件,内容如下

在这里插入图片描述

# 将文件放入input007目录
hdfs dfs -put /home/project/files/words.txt ~/input007
# 进入根目录
cd ${HADOOP_HOME}
# 执行mp,开始统计
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/hduser_/input007/words.txt /user/hduser_/output010
# 查看
hadoop dfs -ls /user/hduser_/output010
# 查看统计结果
hadoop dfs -cat /user/hduser_/output010/part-r-00000

统计成功
在这里插入图片描述
在这里插入图片描述
实际应用场景: 微博|评论|搜索词频统计等

实例3 - π值计算

shell

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 100 100

在这里插入图片描述
增加投掷次数↓，更精确了。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 100 150

在这里插入图片描述
↑基于极限求π值，第一个参数：100个任务，第二个参数：每个任务处理100个点。两个参数的乘积即是总的投掷次数。平均来说，投掷次数与精确度成正比。
计算的π值有点那个意思了。
更多实例待续。。。

学生宫布
关注
专栏目录
大数据Hadoop本机实操
f54268589的博客
06-15 331
大数据Hadoop本机实操
[Hadoop] 大数据项目实操 （未完成）
Cindy的博客
09-29 2562
  1. 背景 公司已有业务系统繁多，日志量大，需要集中管理，预警和监控。 传统的日志方案不满足需求： ELK：适合中小型企业，数据量大hold不住。 目前很多监控服务（如zabbix）还达不到秒级的通知，有时间延迟 外部压力： SLA：服务宕机时间  99.99%，即允许服务宕机时间为0.01%   2. 需求 在线日志收集-&gt;分析-&gt;可视化&amp;预警，使用大数据...
大数据技术实战教程
m0_75198698的博客
05-10 263
以上是大数据技术实战教程的一个大纲，您可以根据需要展开每一个部分的具体内容。排版方面，建议使用清晰的标题、段落分隔和有序列表等元素，以保证阅读体验。4.3 Cassandra的架构和应用。2.3 MapReduce计算模型。4.4 MongoDB的架构和应用。2.1 Hadoop的概念和架构。1.3 大数据技术的发展和应用。3.1 Spark的概念和架构。4.2 HBase的架构和应用。8.1 大数据实践的流程和方法。8.3 大数据实践的工具和平台。5.1 数据仓库的概念和架构。
大数据开发实操1.0
2201_75311251的博客
03-26 888
本章内容包含了大数据实操和思路为主导 如：物理机/云主机，数据规模，大数据组件部署等
大数据 实验一：大数据系统基本实验 熟悉常用的HDFS操作_大数据系统及应用-hdfs实训
最新发布
2401_84181536的博客
05-11 307
用户可以选择追加到原来文件末尾或者覆盖原来文件这样会自动建一个local.txt文件实际上，也可以不用上述方法，而是采用如下命令来实现。
lib_mysqludf_sys_0.0.3.rar_杩涚▼ 璺緞
09-19
标题中的“lib_mysqludf_sys_0.0.3.rar”是一个压缩文件，其中包含了“lib_mysqludf_sys”库的版本0.0.3。这个库是专门为MySQL数据库设计的用户定义函数（UDF）集合，允许在SQL查询中执行特定的操作，比如与操作系统...
Python库 | pytest_gui_status-0.0.3.win32.exe
02-21
`pytest_gui_status-0.0.3.win32.exe` 是一个针对Python开发的测试工具，主要用于GUI（图形用户界面）应用的测试。这个库的名字表明它与`pytest`框架结合，提供了对GUI应用程序状态的可视化监控和管理。在Python的...
PyPI 官网下载 | alibabacloud_ft20180713_py2-0.0.3.tar.gz
01-31
《PyPI官网下载 | alibabacloud_ft20180713_py2-0.0.3.tar.gz 深度解析》 PyPI（Python Package Index）是Python编程语言的一个重要组成部分，它是全球最大的Python软件包仓库，提供了一个集中化的地方，供开发者...
Python库 | oh_my_tools_package-0.0.3b52.tar.gz
03-09
在标题中提到的"oh_my_tools_package-0.0.3b52.tar.gz"是一个Python库的压缩包，这通常包含了开发者创建的一系列工具函数或模块，供其他Python项目使用。下面我们将深入探讨Python库、开发过程以及如何处理和使用...
PyPI 官网下载 | pandas_upsert_to_mysql-0.0.3.tar.gz
02-12
《PyPI官网下载：pandas_upsert_to_mysql-0.0.3.tar.gz——Python数据库操作新星》 在Python的生态环境中，PyPI（Python Package Index）是开发者们获取和分享开源软件的重要平台。本资源，"pandas_upsert_to_mysql...
大数据实操篇 No.2-Hadoop集群搭建
pezynd的专栏
07-15 1390
hadoop集群搭建
大数据的操作
wlyxtx的博客
12-14 265
package cn.vast; import com.alibaba.druid.pool.DruidDataSource; import com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException; import java.sql.Connection; import java.sql.Prepare...
大数据分析实操培训之如何进行建模分析
huifeideyugo123的博客
05-20 1631
文章来源：加米谷大数据 进入大数据时代，数据价值的挖掘成为备受企业关注的重点，越来越大规模的数据，越来越多样化的数据类型，使得大数据分析任务的难度不断上升，需要专业技术和专业人才的支持。今天的大数据分析实操培训分享，我们来聊聊如何进行建模分析？ 大数据分析实操当中，数据分析建模是非常关键的一环，对于数据分析任务目标的达成，大数据分析建模往往能够起到显著的作用。 大数据分析建模，简单来说就是分成两部分： 1.训练 ①需要累积数据，并预期数据越多越好，所以存储必须可扩展。 ②处理数据，初步建立算法模型，读取数
大数据Hive的操作_03_02
yangshaojun1992的博客
09-06 619
启动hadoop集群、启动hive的服务器端和客户端。 在weekend12客户端上执行如下命令： 创建表语句(默认是内部表) create table teacher(id int ,name String ) row format delimited fields terminated by '\t';       row format delimited fields termina
大数据之Spark案例实操完整使用(第六章)
小坏说后端
06-27 2579
上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据文件中每行数据采用下划线分隔数据➢ 每一行数据表示用户的一次行为，这个行为只能是 4 种行为的一种➢ 如果搜索关键字为 null,表示数据不是搜索数据➢ 如果点击的品类 ID 和产品 ID 为-1，表示数据不是点击数据➢ 针对于下单行为，一次可以下单多个商品，所以品类 ID 和产品 ID 可以是多个，id 之间采用逗号分隔，如果本次不是下单行为，则数据采用 nu
大数据框架介绍与实操
鲸落寰宇
08-31 2260
hadoop各个组件生态介绍及实操
图解大数据 | 应用Map-Reduce进行大数据统计@实操案例
热门推荐
ShowMeAI研究中心
03-08 1万+
Hadoop使用一套Map-Reduce的计算框架，解决了大数据处理的难题。本教程ShowMeAI通过几个实例和代码，详细给大家讲解Hadoop使用Map-Reduce进行数据统计的方法。
hadoop安装与配置
li575098618的专栏
08-22 1077
（一）hadoop单节点安装配置 1、安装Oracle Java 8sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer查看你的java版本java -version2、创建一个Hadoop用户 （可选）sudo addgroup ha
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值