大数据学习笔记

大数据学习笔记

1.linux(Centos)基本操作

1. 查看系统基本情况
date 查看当前系统时间

2. 查看当前在线终端
who
3. 切换目录
cd
4. 创建文件夹
mkdir aaa
mkdir -p aaa/bbb/ccc
5. 删除文件夹
rmdir 删除空目录
rm -r aaa 删除整个文件夹及其所有的子目录及文件
rm -rf 强制删除aaa
6. 修改文件名称
mv aaa bbb
7. 创建文件
touch test.txt
echo “Hello World” > test.txt (利用重定向将一条指令的输出结果写入到一个文件中,会覆盖源文件)
echo “Hello World”>>test.txt(利用重定向将一条指令的输出结果追加到一个文件中,不会覆盖源文件)
用文本编辑器生成新文件
vi test.txt
vim test.txt
常用快捷键
a在光标的后一位开始插入
A在该行的最后插入
大写I 在该行最前面插入
gg 跳到行首
G跳到行尾
o 跳到该行下一行输入
yy复制当前行 p粘贴
dd删除当前行
ctrl+v块选择模式
shift+v行选择模式
查找替换
%s/需要替换内容*/替换为***
/test 查找文件中test出现的位置**

more 翻页查看文件
head 查看文件头十行 可用选项选择行数
tail 查看文件尾部十行
tail- f 实时查看文件尾部(根据文件iNode)
tail -F实时查看文件尾部(根据文件名)
less 随意翻阅文件

8. 修改文件权限
chomod 777 test.txt 给文件赋予 所有权限 -rwxrwxrwx
chmod -R 777 test/ 给目录及以下所有文件赋予权限
chown test:test aaa.txt 只有root才能执行,将aaa.txt文件所属用户和所属组 更改为test

基本用户设置
添加用户
useradd test
passwd test (需要设置密码后才能登录)

sudo设置斜体样式
使用roo账户更改/etc/sudoers文件
插入
test ALL=(ALL) ALL
使test用户具有sudo权限 来执行系统级别命令

9. 查看系统信息
uname -a
uname -r
10. mount 挂载
mkdir /mnt/cdrom 创建挂载点
mount -t iso 9660 -o rw /dev/cdrom /mnt/cdrom

umount /mnt/cdrom 取消挂载

11. 查看文件大小
du -h
du -sh
12. 查看分区
df -h
13. ssh(安全外壳协议)连接
ssh username@ip
拷贝文件
scp FileName username@ip:/tmp 拷贝本机文件xx到远程服务器tmp目录下

将公钥发送到指定服务器进行ssh免密登录
ssh-copy-id ip

14. 虚拟机克隆后网卡操作
删除 eth0 网卡文件中UUID hwaddress
删除 /etc/udev/rules.d/70-persistent-net.rules
重启机器reboot

添加网卡:

复制本机网卡文件eth0 更名为eth1,删除其中的UUID和hwaddrss

15. 软件安装
gzip test.txt (压缩)
gzip -d test.txt.gz (解压)
tar -c 创建
-v 显示过程
-f 指定文件
-x提取
-z gz格式
ex: tar -zcvf test.tar.gz t1.txt t2.txt t3.txt (打包多个文件并压缩成gz格式)
tar -zxvf test.tar.gz -C (指定解压目标目录)解压并提取test.tar.gz文件

rpm安装软件
rpm -ivh test.rpm
rpm -ql test 查看安装的软件所生成的文件
rpm -qf 根据生成的文件反查软件包
rpm -e test 删除软件
which +command命令找出该命令绝对路径

yum 软件仓库
yum install vsftpd 安装软件
yum remove vsftpd 删除软件
yum list 列出软件安装情况
yum search vsftpd 搜索软件
编辑/etc/yum.repo/test.repo
[iso]
name=iso
baseurl=file:///mnt/iso
enabled=1
gpgcheck=0

追加/etc/fstab 添加挂载信息
/dev/sr0 /mnt/iso iso9660 defaults 0 0

mount -a

16. 安装JDK
    添加环境变量
    修改/etc/profile
    追加 export JAVA_HOME=/root/app/jdk***
    export PATH=$PATH:$JAVA_HOME/bin
    source /etc/profile (加载环境变量)