【大数据】学习笔记

已于 2024-05-03 15:02:34 修改
阅读量1.6k 收藏 13
点赞数 15
分类专栏： 大数据 文章标签： 大数据
于 2024-05-03 14:52:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/from__2024_04_11/article/details/138416331
版权

文章目录

因上努力

个人主页：丷从心·

系列专栏：大数据

果上随缘

NAT配置

  • 编辑 → \rightarrow →虚拟网络编辑器 → \rightarrow →移除 V M n e t 8 → VMnet8 \rightarrow VMnet8→添加 V M n e t 8 → N A T VMnet8 \rightarrow NAT VMnet8→NAT模式
  • 初始化：桥接模式-> N A T NAT NAT模式

IP配置

DEVICE=eth0
BOOTPROTO=static
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.123.10
NETMASK=255.255.255.0
GATEWAY=192.168.123.2
DNS1=202.106.0.20
HWADDR=00:0c:29:1e:d0:84
SecureCRT配置
Properties
Terminal
  • E m u l a t i o n Emulation Emulation
    • T e r m i n a l → L i n u x Terminal \rightarrow Linux Terminal→Linux
    • S c r o l l b a c k   b u f f e r → 128000 Scrollback \ buffer \rightarrow 128000 Scrollback buffer→128000
  • A p p e a r a n c e Appearance Appearance
    • C u r r e n t   c o l o r   s c h e m e → T r a d i t i o n a l Current \ color \ scheme \rightarrow Traditional Current color scheme→Traditional
    • C h a r a c t e r   e n c o d i n g → U T F − 8 Character \ encoding \rightarrow UTF-8 Character encoding→UTF−8

Java安装

环境变量配置
vim ~/.bashrc

export JAVA_HOME=/usr/local/src/jdk_1.8.0_111
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

Hadoop安装

修改配置文件
hadoop-env.sh
vim hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
yarn-env.sh
vim yarn-env.sh

export JAVA_HOME=${JAVA_HOME}
slaves
vim slaves

slave1
slave2
core-site.xml
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
		<description>指定默认的文件系统</description> 
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/tmp</value>
		<description>Hadoop 临时文件存放目录</description> 
	</property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml

<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9001</value>
		<description>SecondaryNameNode 地址和端口</description> 
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/dfs/name</value>
		<description>fsimage 镜像存放目录</description> 
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/dfs/data</value>
		<description>HDFS 数据文件存放目录</description> 
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
		<description>Block 副本数</description> 
	</property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<description>指定运行 MapReduce 的环境是 Yarn</description> 
	</property>
	<property>
		<name>mapreduce.map.memory.mb</name>
		<value>1536</value>
		<description>调度器为每个 Map Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值，则会被强制杀死</description> 
	</property>
	<property>
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx1024M</value>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<value>3072</value>
		<description>调度器为每个 Reduce Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值, 则会被强制杀死</description> 
	</property>
	<property>
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx2560M</value>
	</property>
	<property>
		<name>mapreduce.job.reduce.slowstart.completedmaps</name>
		<value>0.1</value>
		<description>当 Map Task 完成 10% 时, 为 Reduce Task 申请资源, Reduce Task 开始进行拷贝 Map Task 结果数据和执行 Reduce Shuffle 操作, 默认值为 0.05</description>
	</property> 
	<!--Hadoop 历史服务器-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
		<description>MapReduce JobHistory 服务器进程间通信地址</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
		<description>MapReduce JobHistory 服务器的 Web UI</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<value>/mr-history/done</value>
		<description>已执行完毕的作业信息存放目录</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<value>/mr-history/tmp</value>
		<description>正在运行的作业信息存放目录</description>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.staging-dir</name>
		<value>/mr-history/hadoop-yarn</value>
		<description>MapReduce 作业提交时所使用的临时目录</description>
	</property> 
</configuration>
yarn-site.xml
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>NodeManager 上运行的附属服务</description> 
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8032</value>
		<description>客户端访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
		<description>ApplicationMaster 访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8035</value>
		<description>NodeManager 访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
		<description>管理员访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
		<description>Web UI 访问 ResourceManager 的地址</description> 
	</property>
	<!--关闭内存检查-->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
		<description>是否启动一个线程检查每个任务正使用的物理内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
		<description>是否启动一个线程检查每个任务正使用的虚拟内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description>
	</property> 
	<!--日志聚合-->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
		<description>开启日志聚合功能, 日志保存在 HDFS 上</description>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>86400</value>
		<description>聚合后的日志在 HDFS 上的保存时间, 单位为秒</description> 	
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://master:19888/jobhistory/logs</value>
		<description>日志聚合服务器 URL</description>
	</property> 
</configuration>
环境变量配置
vim ~/.bashrc

export HADOOP_HOME=/usr/local/src/hadoop_2.6.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

IP与主机名映射关系配置

hostname配置
  • h o s t n a m e hostname hostname临时生效
hostname master
  • h o s t n a m e hostname hostname永久生效
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master
映射关系配置
vim /etc/hosts

192.168.123.10 master
192.168.123.11 slave1
192.168.123.12 slave2

关闭防火墙

防火墙临时关闭
systemctl stop firewalld.service
防火墙永久关闭
systemctl disable firewalld.service

关闭SELinux

SELinux临时关闭
setenforce 0
SELinux永久关闭
vim /etc/selinux/config

SELINUX=disabled

建立互信关系

ssh-keygen -t rsa

cd ~/.ssh
将公钥文件id_rsa.pub拷贝到authorized_keys
cat id_rsa.pub > authorized_keys
修改权限
chmod 600 authorized_keys
将slave_1、slave_2的公钥拷贝到master的authorized_keys
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
远程拷贝
scp -rp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
测试互信关系
ssh slave1

Hadoop启动

NameNode格式化
  • 第一次启动 H a d o o p Hadoop Hadoop需要对 N a m e N o d e NameNode NameNode进行格式化
hadoop namenode -format
报错解决
2734 -- main class information unavailable

rm -rf /tmp/hsperfdata_root/
丷从心·
关注
  • 15
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
云计算大数据学习笔记
04-17
云计算大数据学习笔记，让你深入学习云计算大数据学习技术。
大数据学习笔记.docx
11-09
大数据的学习笔记，从大数据的基本概念包括Hadoop、hive、离线计算、实时计算、数据库、数据仓库、维度建模、大规模并行处理MPP，到阿里大数据产品，包括MaxCompute、DataWorks、数据集成、机器学习PAI、AnalyticDB for MySQL，和最后的概要说明
小白大数据学习笔记 .zip
03-07
小白大数据学习笔记
大数据学习笔记.zip
08-23
大数据学习笔记 包含Hadoop Hbase kafka flume
《IT学习资料》-Java 大数据学习笔记.zip
04-02
《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记.
大数据学习笔记
11-26
文本详细分析了hadoop的基本构成和原理，hbase的基本原理和常用命令，hive的原理和常用命令等。
大数据学习笔记汇总指南
03-28
一、Hadoop 二、Hive 三、Spark 四、Storm 五、Flink 六、HBase
BigData大数据学习笔记
01-03
BigData大数据学习笔记
hadoop大数据学习笔记
weixin_48176844的博客
07-13 559
hadoop
大数据学习笔记目录
howard2005的专栏
01-04 1045
Zebra项目：分析、实施与测试 大数据学习笔记01：大数据概述 大数据学习笔记02：在私有云上创建与配置虚拟机 大数据学习笔记03：安装配置CentOS7虚拟机 大数据学习笔记04：单机模式使用ZooKeeper ...
【Redis7】10大数据类型之HyperLogLog类型
云泽野の编程日记
05-10 220
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
《大数据分析-数据仓库项目实战》学习笔记
LANXIAMAO的博客
05-09 903
文章部分内容参考《大数据分析-数据仓库项目实战》一书，仅供学习，喜欢可购买正版书籍，如有不妥请联系删除。
kde巡检文档
王羲之的之的博客
05-13 35
此脚本采用python2.7。
要对数据源和同步后的数据进行数据量的对比
最新发布
smile6868的博客
05-16 261
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
易图讯科技三维电子沙盘系统
QQ_2801061513的博客
05-12 198
深圳易图讯科技有限公司（www.3dgis.top）创立于2013年，专注二三维地理信息、三维电子沙盘、电子地图、虚拟现实、大数据、物联网和人工智能技术研发，获得20多项软件著作权和软件检测报告，成功交付并实施了1000多个项目，广泛应用于部队、武警、武装部、公安、应急、消防、安全生产、森林防火、石油石化、科研教育、国防动员、人民防空等行业。三维地理信息电子沙盘集多项先进技术于一体，为军事、公安、应急、消防、森林防火、人民武装、国防动员、人民防空等领域提供强大决策支持和指挥调度能力。
测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）
weixin_43446246的博客
05-10 367
日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
第十四章大数据与数据科学练习
weixin_48277834的博客
05-12 971
A：预测性分析和规范性分析B：描述性分析和预测性分析C：描述性分析和规范性分析D：预见性分析和规范性分析正确答案：A 你的答案：A解析：389页第四点及下方图表，数据科学的两种分析模式分别是预测性分析和规范性分析。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1094
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
【Redis7】10大数据类型之GEO类型
云泽野の编程日记
05-11 469
GEO数据类型非常适合需要处理地图、定位服务或者任何与地理位置相关的应用程序，比如餐饮外卖服务的门店定位、出行应用中的路线规划等场景。Redis的GEO(地理空间)数据类型是一种特殊的数据结构，用于存储地理位置信息并执行地理位置相关的操作。由于这里的数据比很少,示例效果不太好.大家明白熟悉命令就行.感兴趣的话,可以自己去添加一些数据.:将地理位置的坐标转化为一个唯一的字符串编码（GeoHash），这有助于快速索引和查询。:查询指定位置周围的地点，基于给定的最大距离（半径）。
大数据技术与应用学习笔记
05-31
好的，我会尽力回答你关于大数据技术与应用的问题，以下是我的笔记： 1. 什么是大数据？ 大数据是指数据量过大、处理复杂度高、价值密度低的数据。大数据具有“3V”特征：数据量大（Volume）、处理速度快（Velocity）、数据种类多（Variety）。 2. 大数据技术有哪些？ 大数据技术主要分为存储、处理、分析三个方面。常用的大数据技术包括：Hadoop、Spark、Hive、HBase、Storm、Kafka等。 3. 大数据的应用场景有哪些？ 大数据的应用场景非常广泛，包括但不限于以下几个方面： - 金融行业：风险控制、反欺诈、客户画像等； - 零售行业：销售预测、商品推荐、库存管理等； - 医疗行业：病人监测、疾病预测、数据分析等； - 交通行业：智能交通、交通拥堵预测、车辆管理等； - 教育行业：学生画像、教育资源管理、教学效果分析等。 4. 大数据的处理流程是什么？ 大数据的处理流程可以分为以下几个步骤： - 数据采集：收集原始数据； - 数据存储：将采集到的数据存储到大数据平台中； - 数据清洗：对数据进行清洗，去除脏数据； - 数据处理：使用大数据技术对数据进行处理和分析； - 数据可视化：将处理后的结果以图形方式展现出来。 5. 大数据的挑战有哪些？ 大数据的挑战主要包括以下几个方面： - 数据存储：海量数据的存储需要大量的存储空间； - 数据处理：海量数据的处理需要大量的计算资源； - 数据质量：大数据中存在大量的脏数据，需要进行数据清洗； - 数据安全：大数据中包含大量的敏感信息，需要保证数据安全； - 人才短缺：大数据技术需要专业的人才支持，但是目前人才供不应求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值