hadoop
文章平均质量分 86
cllblogs
这个作者很懒,什么都没留下…
展开
-
Spark on Yarn-cluster 和 Yarn-client 区别
Yarn-cluster 和 Yarn-client 区别SparkContext 初始化不同,这也导致了 Driver 所在的位置不同,Yarn-cluster 的 Driver 是在集群的某一台 NodeManager 上,但是 Yarn-client 是在 Driver 所在的机器上Driver 会和 Executors 进行通信,这也导致了 Yarn-cluster 在提交a...原创 2019-10-16 16:15:57 · 256 阅读 · 0 评论 -
hadoop支持lzo压缩测试
1.环境准备jdk1.8/maven3.6.2/hadoop伪分布式安装需要的库yum -y install lzo-devel zlib-devel gcc autoconf automake libtool2.安装 lzo2.1.下载并解压lzo# 下载lzo压缩包[hadoop@hadoop000 software]$ wget www.oberhumer.com...原创 2019-10-10 09:17:20 · 418 阅读 · 0 评论 -
Hadoop HA架构简述
HDFS HA架构图原创 2019-10-05 13:21:41 · 1206 阅读 · 2 评论 -
Hadoop伪分布式部署
1.环境准备centos7安装JDK1.8+ :可参考 Hadoop集群搭建(三台) 中JDK安装步骤下载hadoop安装包,本文使用版本为 hadoop-2.6.0-cdh.5.15.12.部署配置无密码认证# 按步骤操作即可1.ssh-keygen # 三次回车2.cd ~/.ssh cat id_rsa.pub >> authorize...原创 2019-09-24 12:56:49 · 123 阅读 · 0 评论 -
大数据的特征(4V+1O)
Volume(数据量大) + Variety(类型繁多) + Value(价值密度低) + Velocity(速度快时效高) + Online(数据是在线的)详情请见原文链接:https://blog.csdn.net/jxq0816/article/details/88370854...转载 2019-09-20 14:19:16 · 1696 阅读 · 0 评论 -
hdfs ha脚本邮件预警failover
1.脚本编写#!/bin/bashNN1_HOSTNAME=""NN2_HOSTNAME=""NN1_SERVICEID=""NN2_SERVICEID=""NN1_SERVICESTATE=""NN2_SERVICESTATE=""EMAIL=503757851@qq.com#CDH_BIN_HOME=/opt/cloudera/parcels/CDH/binCDH_B...原创 2019-09-16 08:10:13 · 192 阅读 · 0 评论 -
mail 465邮件配置
1.开启QQ邮箱SMTP服务然后点击图片右下角生成授权码 ,获取到授权码2.停止服务此操作是在root用户下进行[root@hadoop000 ~]# service sendmail stopRedirecting to /bin/systemctl stop sendmail.serviceFailed to stop sendmail.service: Unit sendma...原创 2019-09-16 08:06:55 · 1020 阅读 · 0 评论 -
启动hadoop时,datanode未能正常启动
启动hdfs时,查看进程发现没有datanode进程[hadoop@hadoop001 sbin]$ start-dfs.sh Starting namenodes on [hadoop001]hadoop001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/logs/hadoop-hadoo...原创 2019-09-14 21:07:42 · 685 阅读 · 0 评论 -
Hadoop集群搭建(三台)
1.组件版本组件名版本备注Centos7.2 64-bitlsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数Jdkjdk-8u45-linux-x64.gzHadoophadoop-2.6.0-cdh5.15.1.tar.gzZookeeperzookeeper-3.4.6.tar.gz...原创 2019-09-06 08:58:53 · 527 阅读 · 0 评论 -
hadoop压缩方式
压缩种类压缩格式工具算法扩展名多文件可分割性DEFLATE无DEFLATE.deflate不不GZIPgzipDEFLATE.gzp不不ZIPzipDEFLATE.zip是是,在文件范围内BZIP2bzip2BZIP2.bz2不是LZOlzopLZO.lzo不是gzip压缩优点:压缩...原创 2019-09-06 08:56:26 · 189 阅读 · 0 评论 -
hadoop-2.6.0-cdh5.15.1源码编译
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2019-09-06 08:41:34 · 269 阅读 · 0 评论