- 博客(17)
- 收藏
- 关注
RSS订阅原创 Spark Install
1. Spark install 01 1.1下载spark-2.4.4-bin-hadoop2.7.tgz 1.2.解压 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz 1.3. mv /download/spark-2.4.4-bin-hadoop2.7/soft 1.4. ln -sspark-2.4.4-bin-hadoo...
2019-09-27 15:02:27
320
原创 linux 硬盤格式化
1.fdisk -l2.mkfs -t ext4 -c /dev/sdb1 (快速格式化：mkfs.ext4 /dev/sdb1)3.mount /dev/sdb1 /data4.df -hll /dev/sdb1mount /dev/sdb1 /data/lsblk5.如果要在重啟時mount自動生效，可在/etc/fstab編寫如下：/dev/sdb1 /da...
2019-05-06 14:09:47
328
原创 linux下使用磁带备份
1. 将磁带卷至起始位置 mt -f /dev/st0 rewind2. 擦掉磁带上的内容 mt -f /dev/st0 erase3. 将磁带卷至初始位置然后从磁带机内弹出 mt –f /dev/st0 offline4. 列目录操作 tar tvf /dev/st05. 写入数据操作 tar cvf /dev/st0 &l...
2019-05-03 10:11:07
942
原创 Hadoop---Zookeeper安装
配置完全分布式zk集群--------------------- 1.挑选3台主机 S101 ~ s103 2.每台机器都安装zk tar 环境变量 3.配置zk配置文件 S101 ~ s103...
2019-03-12 23:01:09
133
原创 Hadoop---HA安装
配置细节--------------- 1.s101和s108具有完全一致的配置，尤其是ssh. 将S108 authorized_keys cat到S101中，并分发到其它node 2.配置nameservice [hdfs-site.xml] <property>...
2019-03-12 23:00:43
188
原创 Hadoop--HDFS 安装
1.删除原系统上的JAVArpm -qa|grep jdkrpm -qa|grep gcjyum -y remove java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64yum -y remove ldapjdk-4.18-6.el6.x86_64yum -y remove java-1.8.0-openjdk-1.8.0.9...
2019-03-11 16:13:47
116
原创 Hadoop管理命令
1. hadoop dfsadmin2. 文件系统验证（fsck)hadoop fsck /输出说明2.1 over-replicated block: 说明一些文件数超出所属文件的限定2.2 under-replicated block:文件块数未达到要求的副本数2.3 misreplicated block :不满足块副本存储位置策略的块2.4 corrupt blocks:所有块副本全部出现...
2018-06-24 16:51:43
418
转载 HDFS API 例子
1. 列出目录文件信息import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.FileUtil;import org...
2018-06-21 13:28:48
281
原创 Hadoop 增加硬盘
1. fdisk /dev/sdb，对硬盘进行分区设定2.格式化：mkfs.xfs /dev/sdb1 -f3. mount 硬盘 创建目录:mkdir /data01 mount /dev/sdb1 /data014. 设定电脑重启后，自动mount vim /etc/fstab/dev/sdb1 /data01 xfs ...
2018-06-13 12:32:37
1746
原创 解决Redhat 7无法自动启动ntpd
redhat7 无法自动启动ntp#systemctl disable chronyd#systemctl start ntpdredhat7 无法自动启动ntpsystemctl disable chronyd
2018-06-12 22:30:31
2778
原创 解决Redhat 7 ambari安装hadoop过程中出现myql安装出错
[linux]centos7下解决yum install mysql-server没有可用包第一步：安装从网上下载文件的wget命令[root@master ~]# yum -y install wget第二步：下载mysql的repo源[root@master ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch....
2018-06-12 22:28:50
216
原创 解决hadoop ambari 提示各service"黄色问号"
通过Ambari部署系统时遇到过这个问题，以及某一次重启服务器之后，节点显示heartbeat lost，也是因为这个问题。在/var/log/ambari-agent中可以看到日志，日志里显示：[html] view plain copy ERROR 2018-03-06 11:02:25,223 NetUtil.py:88 - [SSL: CERTIFICATE_VERIFY_FAILED] ...
2018-06-12 22:18:55
1754
原创 Hadoop重要配置文件
l Hadoop的配置文件 1. Hadoop-site.xml, *-default.xml,*-site.xml,2. Core-default.xml: 默认的核心hadoop属性文件。该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jar3. Hdfs-default.xml : 默认的HDFS属性配置文件，文件位于下面的JAR文件中...
2018-05-22 14:42:56
17652
原创 Linux 7 关闭Firewall and SELinux
关闭Firewall查看Firewall的状态：systemctl status firewalld1. 立即生效： 开启：systemctl start firewalld 关闭：systemctl stop firewalld长久生效， 重启后生效：开启：systemctl enable firewalld关闭：systemctl disable firewalld 关闭Redhat的...
2018-05-22 14:30:50
492
原创 Linux rsyslog记录指定的设备IP存放到指定的目录位置
在/etc/rsyslog.conf中加上如下设定$templateSFC_System,"/log/SFC_System/%$YEAR%-%$MONTH%/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%-%$HOUR%.log":fromhost-ip, isequal,"XX.XX.XX.XX" ? aaa:fromhost-ip, is...
2018-05-22 14:01:51
7440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人