![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 61
arelinzhi
要勤快点
展开
-
Hadoop重要配置文件
l Hadoop的配置文件 1. Hadoop-site.xml, *-default.xml,*-site.xml,2. Core-default.xml: 默认的核心hadoop属性文件。该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jar3. Hdfs-default.xml : 默认的HDFS属性配置文件,文件位于下面的JAR文件中...原创 2018-05-22 14:42:56 · 17620 阅读 · 0 评论 -
Hadoop---Zookeeper安装
配置完全分布式zk集群--------------------- 1.挑选3台主机 S101 ~ s103 2.每台机器都安装zk tar 环境变量 3.配置zk配置文件 S101 ~ s103...原创 2019-03-12 23:01:09 · 126 阅读 · 0 评论 -
Hadoop---HA安装
配置细节--------------- 1.s101和s108具有完全一致的配置,尤其是ssh. 将S108 authorized_keys cat到S101中,并分发到其它node 2.配置nameservice [hdfs-site.xml] <property>...原创 2019-03-12 23:00:43 · 172 阅读 · 0 评论 -
Hadoop--HDFS 安装
1.删除原系统上的JAVArpm -qa|grep jdkrpm -qa|grep gcjyum -y remove java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64yum -y remove ldapjdk-4.18-6.el6.x86_64yum -y remove java-1.8.0-openjdk-1.8.0.9...原创 2019-03-11 16:13:47 · 110 阅读 · 0 评论 -
解决hadoop ambari 提示各service"黄色问号"
通过Ambari部署系统时遇到过这个问题,以及某一次重启服务器之后,节点显示heartbeat lost,也是因为这个问题。在/var/log/ambari-agent中可以看到日志,日志里显示:[html] view plain copy ERROR 2018-03-06 11:02:25,223 NetUtil.py:88 - [SSL: CERTIFICATE_VERIFY_FAILED] ...原创 2018-06-12 22:18:55 · 1744 阅读 · 0 评论 -
Hadoop管理命令
1. hadoop dfsadmin2. 文件系统验证(fsck)hadoop fsck /输出说明2.1 over-replicated block: 说明一些文件数超出所属文件的限定2.2 under-replicated block:文件块数未达到要求的副本数2.3 misreplicated block :不满足块副本存储位置策略的块2.4 corrupt blocks:所有块副本全部出现...原创 2018-06-24 16:51:43 · 406 阅读 · 0 评论 -
HDFS API 例子
1. 列出目录文件信息import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FileUtil;import org...转载 2018-06-21 13:28:48 · 273 阅读 · 0 评论 -
Hadoop 增加硬盘
1. fdisk /dev/sdb,对硬盘进行分区设定2.格式化:mkfs.xfs /dev/sdb1 -f3. mount 硬盘 创建目录:mkdir /data01 mount /dev/sdb1 /data014. 设定电脑重启后,自动mount vim /etc/fstab/dev/sdb1 /data01 xfs ...原创 2018-06-13 12:32:37 · 1735 阅读 · 0 评论 -
解决Redhat 7 ambari安装hadoop过程中出现myql安装出错
[linux]centos7下解决yum install mysql-server没有可用包第一步:安装从网上下载文件的wget命令[root@master ~]# yum -y install wget第二步:下载mysql的repo源[root@master ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch....原创 2018-06-12 22:28:50 · 210 阅读 · 0 评论 -
Spark Install
1. Spark install 01 1.1下载spark-2.4.4-bin-hadoop2.7.tgz 1.2.解压 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz 1.3. mv /download/spark-2.4.4-bin-hadoop2.7/soft 1.4. ln -sspark-2.4.4-bin-hadoo...原创 2019-09-27 15:02:27 · 308 阅读 · 0 评论