2018年03月_With__Sunshine

转载 CentOS6.9配置静态IP

一直接在配置文件修改/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0" #描述网卡对应的设备别名BOOTPROTO="static" #通过不同协议设置网卡获得ip地址的方式,–静态static –bootp –dhcp****HWADDR="08:00:27:29:2F:76" #对应的网卡网卡地址,即mac地址NM_CONT...

2018-03-29 15:48:33 253

转载 centos7 安装SSH

1.安装OpenSSH服务(CentOS系统默认安装了openssh) yum install openssh-server -y2.配置OpenSSH服务(默认的配置已可以正常工作)OpenSSH的主配置文件：/etc/ssh/sshd_config常见的配置选项：Port=22 设置SSH的端口号是22(默认端口号为22)Protocol 2 启用SSH版本2协议ListenAdd...

2018-03-29 14:26:59 748

转载在docker上部署centos+hadoop3.0分布式集群

完整步骤的思维导图一、主机规划3台主机：1个master、2个slaver/workerip地址使用docker默认的分配地址：master：主机名： hadoop2、ip地址： 172.17.0.2slaver1：主机名： hadoop3、ip地址： 172.17.0.3主机名： hadoop4、ip地址： 172.17.0.4二、软件安装1、在docker中安装centos镜像，并启动cent...

2018-03-28 15:33:27 521

转载 linux yum命令详解

linux yum命令详解yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又...

2018-03-28 14:41:20 158

转载 Hadoop3.0安装以及新特性介绍

Apache Hadoop 3.0.0在前一个主要发行版本（hadoop-2.x）中包含了许多重要的增强功能环境安装： 192.168.18.160 CDH1 192.168.18.161 CDH2 192.168.18.162 CDH3 192.168.18.163 CDH41，java8是必须所有hadoop 的jar都是利用java8的运行时版本进行编译的。依然在使用java7或者更低版...

2018-03-28 14:40:24 1036

转载 scp 对拷文件夹和文件夹下的所有文件对拷文件并重命名

对拷文件夹 (包括文件夹本身)scp -r /home/wwwroot/www/charts/util root@192.168.1.65:/home/wwwroot/limesurvey_back/scp对拷文件夹下所有文件 (不包括文件夹本身)scp /home/wwwroot/www/charts/util/* root@192.168.1.65:/home/wwwroot/lime...

2018-03-22 17:36:19 2255

转载 ubuntu下暂时不能解析域名“us.archive.ubuntu.com”

ubuntu apt-get 错误 Temporary failure resolving 'us.archive.ubuntu.com' 解决原因是dns没有配置，解决办法加入dns服务器地址，比如：vi /etc/resolv.conf nameserver 202.96.134.133nameserver 8.8.8.8#阿里云nameserver 223.5.5.5nameserver ...

2018-03-21 17:26:40 6121

转载 25个常用的ssh命令

另外一个ssh语法学习地址：http://man.linuxde.net/sshdOpenSSH是SSH连接工具的免费版本。telnet，rlogin和ftp用户可能还没意识到他们在互联网上传输的密码是未加密的，但SSH是加密的，OpenSSH加密所有通信（包括密码），有效消除了窃听，连接劫持和其它攻击。此外，OpenSSH提供了安全隧道功能和多种身份验证方法，支持SSH协议的所有版本。SSH是一...

2018-03-21 14:45:02 1230

转载 Linux eval命令

1.eval命令将会首先扫描命令行进行所有的替换，然后再执行命令。该命令使用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。这些需要进行两次扫描的变量有时候被称为复杂变量。2.eval也可以用于回显简单变量，不一定时复杂变量。NAME=ZONEeval echo $NAME等价于echo $NAME3.两次扫描test.txt内容：hello shell w...

2018-03-21 10:35:28 148

转载 Linux.配置Hadoop环境的一些问题解决

几篇教程官方教程很良心的中文版教程问题与解决问：伪分布环境配置的时候，启动Hadoop时提示输入root的密码，但是无论如何也无法输入正确。（本人参考很良心的中文版教程进行的配置）$ sudo /usr/local/hadoop/sbin/start-dfs.shStarting namenodes on [localhost]root@localhost's password: root@...

2018-03-21 10:29:27 3887

转载配置ssh keys连通github跟ssh-agent

jenkins+github配置完成后，能够实现在提交pull request或者直接push时，能够将提交的代码拉去一份到服务器本地，并自动merge；但是代码拉去下来了，部署环境的时候却需要输入登录服务器的登陆名跟密码；jenkins部署都是自动完成的，万一每次都需要输入用户名跟密码后，才能操作服务器上的代码进行环境部署，那就太不自动化了；所以需要配置ssh-key让git到服务器切换自如，不...

2018-03-21 10:27:29 251

转载 ssh-agent代理管理git私钥

ssh-agent是一种控制用来保存公钥身份验证所使用的私钥的程序。ssh-agent是一个密钥管理器，运行ssh-agent以后，使用ssh-add将私钥交给ssh-agent保管，其他程序需要身份验证的时候可以将验证申请交给ssh-agent来完成整个认证过程。$eval `ssh-agent -s` 注意这里是反引号$ssh-add------------------------------...

2018-03-21 10:26:09 334

转载 ubuntu修改IP地址和网关的方法

一、使用命令设置Ubuntu IP地址1.修改配置文件blacklist.conf禁用IPV6sudo vi /etc/modprobe.d/blacklist.conf表示用vi编辑器（也可以用其他编辑器，如gedit）编辑etc文件夹下modprobe.d文件夹中blacklist.conf文档的内容。注意：只能在root用户模式下才可以修改在文档最后添加 blacklist ipv6然后查看...

2018-03-20 18:50:13 931

转载 Mac 使用SSH远程登录

一、打开sshMac Terminal是自带SSH的，可以用whereis来看看：[plain] view plain copy$ whereis ssh 但是在现有进程中找不到ssh对应的进程：[plain] view plain copy$ ps aux | grep ssh apple 25927 0.0 0.0 2432784 616 s000 R+...

2018-03-16 17:40:19 31502

转载 scp命令详解

scp命令详解先说下常用的情况：两台机器IP分别为：A.104.238.161.75，B.43.224.34.73。在A服务器上操作，将B服务器上/home/lk/目录下所有的文件全部复制到本地的/root目录下，命令为：scp -r root@43.224.34.73:/home/lk /root。具体过程为：[root@XX ~]# scp -r root@43.224.34.73:/home...

2018-03-16 17:38:07 310

转载 Ubuntu拒绝root用户ssh远程登录

#sudo vim /etc/ssh/sshd_config找到并用#注释掉这行：PermitRootLogin prohibit-password新建一行添加：PermitRootLogin yes重启服务#sudo service ssh restart 解读一下这两句话吧！PermitRootLogin yes允许root登录，设为yes。PermitRootLogin prohibit-...

2018-03-16 17:29:33 582

转载 Linux下的tar压缩解压缩命令详解

tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的-f: 使用档案名字，切记...

2018-03-16 17:28:31 151

转载使用VMware进行基于Ubuntu16.04LTS的Spark集群搭建

先说一下我用的软件or环境的版本：VMware14.1.1Ubuntu16.06.03jdk1.8.0_161Scala2.10.5Python2.12（装Ubuntu后自带的）Spark1.6.1-hadoop2.6Hadoop2.6.4步骤：安装VMware。傻瓜式安装，提供两个激活序列号：FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA、CV7T2-6WY5Q-48EWP-ZXY7...

2018-03-16 13:53:31 681

Sunshine