linux
JAVA百练成神
用技术改变世界
展开
-
Hive常用的基本操作指令
指令目录查看所有数据库查询表格内全部数据use进入数据库从本地中加载数据到表里hive读取本地的data文件先从本地文件上传到hdfs中创建表格指定分割符创建表时指定换行创建表分割数据把查询的结果插入到指定表中把查询的结果插入到指定的本地下把查询的结果放到分布式目录删除指定表删除数据库内部表和外部表创建一个外部表创建一个分区表分区加载数据分区查询添加多一个分区追加分区文件不覆盖之前字段内容覆盖原来表中数据插入分区保留原来表中数据插入分区显示分区修复分区hive数据库信息位置和表信息位置动态分区动态分区识别插原创 2022-01-07 09:50:10 · 1379 阅读 · 0 评论 -
Linux 搭建Flink教程
在服务器上解压完成压缩包后进行环境配置export FLINK_HOME=/opt/soft/flinkexport PATH=$PATH:$FLINK_HOME/bin进入flink conf目录下修改flink-conf.yaml 的address 前面一定要有一个空格不然会报错。保存后去配置slaves把flink和环境配置分发到另外两台服务器启动flink集群start-cluster.sh通过端口号8081进入前端http://192.168.10.101:8081原创 2022-01-06 20:01:15 · 776 阅读 · 0 评论 -
Linux 搭建 Kafka教程
把kafka解压到linux去配置文件中配置环境配置kafka文件内容进入kafka/config目录修改server.properties 文件修改broker.id= id里面的数值不可以重复同时添加主机的ip 和端口host.name=192.168.10.101listeners=PLAINTEXT://192.168.10.101:9092在下面找到log.dirs修改日志的地址修改为我们三台机器ip地址zookeeper.connect=localhost:21原创 2022-01-05 15:04:01 · 391 阅读 · 0 评论 -
Linux 搭建zookeeper教程
解压后配置zookeeper的环境进入到conf目录下cp一个 cp zoo_sample.cfg zoo.cfg副本进入副本添加以下内容# example sakes.##存放数据路径dataDir=/opt/zkData/data#配置日志文件dataLogDir=/opt/soft/zookeeper/zoo_logs# the port at which the clients will connectclientPort=2181server.1=hadoop1:2888:3原创 2022-01-05 13:56:49 · 837 阅读 · 0 评论 -
Linux Flume搭建教程
解压flume压缩包然后配置系统环境变量 路径写你之前解压的位置进入到flume/conf/目录下复制一个flume副本 cp flume-env.sh.template flume-env.sh进入副本修改java环境在conf目录下创建一个控制台文件vi console.conf写入配置文件信息#定义当前agent的名字为a1,可以随意#定义agent中的sources名字为r1a1.sources=r1#定义agent中的sinks组件叫做k1a1.sink原创 2022-01-05 10:22:39 · 595 阅读 · 0 评论 -
Linux 搭建Hive链接mysql教程
如果没有配置数据库先配置Linux数据库教程地址:https://blog.csdn.net/qq_45007567/article/details/122302175?spm=1001.2014.3001.5501本教程用到的相关配置文件下载https://download.csdn.net/download/qq_45007567/73864093解压到目录配置path环境 hive_home=这里是hive解压后的路径进入到hive conf目录 拷贝一个副本 cp hive-en.原创 2022-01-04 20:51:45 · 419 阅读 · 0 评论 -
Linux Spark安装教程
先把安装包上传到linux中,并且解压到目录 vi /etc/profile 配置环境变量 添加以下变量 /opt/soft/spark 是你解压的目录路径进入到conf目录下 复制一个spark-env.sh副本进入副本在下面添加以下以下配置# 添加java环境export JAVA_HOME=/opt/soft/jdk# 主节点 hadoop1是主机名export SPRAK_MASTER_HOST=hadoop1 # 端口export SPARK_MASTER_PORT=7原创 2022-01-04 16:17:51 · 1223 阅读 · 0 评论 -
Linux安装Mysql数据库
rpm -qa | grep mariadb 检查一下是否有已安装的与MySQL相关的东西rpm -e --nodeps 相关名 如果有就卸载相关依赖把数据库安装包上传到Linux中rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm 进入到目录下安装服务端和客户端通过mysql - u root 第一次能进去服务端安装成功set password=password(‘123456’); 修改root的默认密码123456.原创 2022-01-04 14:45:45 · 993 阅读 · 0 评论 -
Linux下实现免密登录
通过命令ssh-keygen -t rsa 会生成一个ssh文件夹通过ssh-copy-id的方式 命令: ssh-copy-id 服务器IP原创 2021-09-15 18:53:13 · 113 阅读 · 0 评论 -
liunux防火墙关闭开启管理命令
查看防火墙状态systemctl status firewalld关闭防火墙systemctl stop firewalld永久关闭禁用防火墙systemctl disable firewalld启动防火墙systemctl start firewalld原创 2021-09-15 15:38:14 · 88 阅读 · 0 评论 -
Linux 常用操作笔记
vim 常用文本操作.常用用户管理操作及相关文件linux 文件目录,文本查看的常用操作指令linux 日期时间相关的常用操作指令linux 搜索查找常用类压缩解压缩类常用操作指令linux 常用的组管理 权限的管理与介绍 定时任务调度crontab 磁盘分区添加一块新磁盘 磁盘情况查询实用指令 Linux网络配置原理和说明 进程管理常用操作 Linux yum的使用...原创 2021-09-08 17:01:16 · 88 阅读 · 0 评论 -
Linux yum的使用
yum的基本指令(使用Yum的前提是必须联网)1.查询服务器是否有需要安装的软件yum list | grep xx 软件列表2. 安装指定的yum包yum install xxx 下载安装原创 2021-09-07 12:43:59 · 209 阅读 · 0 评论 -
Linux 进程管理常用操作
:ps -ef | more 全格式查看父进程进程杀死终结如何踢掉一个用户找到他的进程 直接踢走关闭远程登录服务service管理进程管理监控查看特定用户终端输入top输入u输入要监控的用户名输入k 输入进程id杀死进程tod -d 10 十秒刷新一次监控监控网络状态netstat -anp 显示全部调用netstat -anp | grep sshd 查看指定进程链接自启动管理...原创 2021-09-06 21:53:44 · 83 阅读 · 0 评论 -
Linux网络配置原理和说明
查看网络ip和网关通过虚拟机的虚拟网络编辑器当前虚拟机的ip 修改后重启就是当前设置的ip了网关查看与修改用命令行修改ip修改完成后一定要重启服务1.service network restart2.reboot原创 2021-09-05 21:27:43 · 169 阅读 · 0 评论 -
linux 磁盘情况查询实用指令
磁盘情况查询磁盘情况工作常用指令统计home文件夹下文件的个数ls -l /home/ | grep "^-" | wc -l 统计数量统计home目录 文件夹下目录的个数ls -l /home/ | grep "^d" | wc -l统计home文件夹下文件个数 包括子文件的ls -lR /home/ |grep "^-" | wc -l统计文件夹下目录的个数包括子文件夹里的...原创 2021-09-05 19:02:23 · 118 阅读 · 0 评论 -
linux 磁盘分区添加一块新磁盘
分区介绍挂载的经典案例在linux系统中,/dev目录用来保存设备文件的.每个文件指向一个系统设备.用户的程序可以通过使用这些设备文件,对真实的硬件的设备进行操作lsblk -f 查看分区挂载情况lsblk 查看分区情况 查看分区内存大小挂载的经典案例如何添加一块硬盘1.虚拟机添加硬盘2.分区 fdisk/dev/sdb3.格式化 mkfs -t ext4 /dev/sdb14.挂载 先创建一个目录 挂载 mount /dev/sdb1 挂载到你要挂载的目录名 /home原创 2021-09-05 16:53:35 · 441 阅读 · 0 评论 -
linux 定时任务调度crontab
使用crontab -e 创建一个定时的文件 具体*号看上方示意图当保存退出后该代码就会生效调度的应用实例原创 2021-09-05 11:36:36 · 99 阅读 · 0 评论 -
linux 权限的管理与介绍
权限的管理与文件权限的介绍文件权限的介绍rwx权限详解rwx作用到文件rwx作用到目录实际案例修改权限文件权限的介绍文件权限的介绍- 普通文件d 目录l 软连接c 字符设备【键盘,鼠标】b 块文件,硬盘表示文件所有者拥有的权限表示文件所在组的用户的权限表示文件其他组的用户的权限如果是文件表示硬链接的数,如果是目录则表示该文件的子目录的个数表示文件的大小,如果是目录那就是4096rwx权限详解rwx作用到文件【r】代表可读:可以读取查看【w】代表可写:可以修改原创 2021-09-05 10:33:33 · 83 阅读 · 0 评论 -
linux 常用的组管理
组管理和权限管理文件所在组不一定是文件所有者的组:chown 更改文件权限所有者文件/组的创建:groupadd 组名 创建一个组文件所在组修改: chgrp 组名 文件名 修改文件所在的组其他组除文件的所有者和所在组的用户外,系统的其他用户都是文件的其他组修改用户的所在组:Usermod -g 组名 用户名:usermod -d 目录名 用户名 改变用户登录的初始目录...原创 2021-09-04 14:08:34 · 137 阅读 · 0 评论 -
linux 压缩解压缩类常用操作指令
:gzip 文件 用于文件压缩成.gz文件 压缩完后源文件不保留gunzip 文件名.gz 用于解压缩的zip 【选项】要压缩的文件内容,文件,目录的命令 用于压缩文件:unzip 【选项】对相应的zip文件解压 用于解压的:zip -r 压缩的目录或者文件 将文件夹递归打包压缩:zip -d 要解压到的目录位置 要解压的压缩包名:tar 是打包指令:tar 【选项】打包名字.gz 打包的内容:: tar -zcvf 文件名字.gz 要打包的文件名1. 2. 3.。。。 可以同时写多个选.原创 2021-09-04 14:03:42 · 89 阅读 · 0 评论 -
linux 搜索查找常用类
findgreplocate find 【要搜索目录的范围】-name 要查询的文件名: find -user 按照名字的拥有者查找 要查询的文件名: find /要查找的目录 -size +要查找的大小grep查找文件内容是否包含:grep 【选项】查找内容 源文件:grep -n 匹配行以及行号:grep -i 忽略字母大小写 默认区分大小写:cat 要查询的文件名 | grep -n查询的内容locate-e 将排除在寻找的范围之外。-1 如果是原创 2021-09-04 13:48:35 · 116 阅读 · 0 评论 -
linux 日期时间相关的常用操作指令
:date显示当前时间:date "+%Y"显示年:date "+%m"显示月: date "+%d"显示日: date "+%Y %m %d %H %M %S 年月日时分秒:date -s "你要设置的时间" 设置系统当前时间:cal 显示当前的日历情况:cal 年份 显示那一年一整年的月份...原创 2021-09-04 13:35:59 · 103 阅读 · 0 评论 -
linux 文件目录,文本查看的常用操作指令
:pwd 显示当前工作的工作路径 :ls 查看目录所有内容的信息:ls -a 显示当前目录和所有文件包括隐藏的:ls -l 以列表形势显示信息:mkdir 文件名 创建一个文件夹: mkdir 路径名 文件名 在指定目录创建一个文件夹: rmdir 删除空目录 删除一个非空目录使用rm -rf 目录名 删除文件夹:touch 文件名 创建一个空文件目录: cp 要拷的文件名 拷到指定位置文件名:cp -r 递归复制整个文件夹: rm 要删除的文件或者文件夹名 移除文件或者目原创 2021-09-04 13:33:20 · 183 阅读 · 0 评论 -
linux 常用用户管理操作及相关文件
:logout 注销用户:su- 用户名 切换账号:useradd 用户名 创建账号:mkdir 创建文件夹名 直接创建文件夹:passwd 用户名 更改用户密码uu:userdel 用户名 删除用户 但是他会保留家目录文件:userdel 用户名 -r 删除用户不保留目录文件:id 用户名 查询用户信息:exit 返回之前的用户:groupadd 组名 创建组:clear 清屏: groupdel 组名 删除组:useradd -g 组名 用户名 创建一个用户将他放到指定组中原创 2021-09-04 13:22:20 · 128 阅读 · 0 评论 -
linux vim 常用文本操作
:wq 代表保存:q 退出不保存:q+!表示强制退出 q!:yy 拷贝当前行 向下多少行就 数字yy 用 P粘贴: dd 删除当前行向下的5行 5dd 数字+dd: 文件中查找某个单词 /关键词 用回车查找 输入n 查找下一个:set nu 设置文件的行号啊 set nonu 取消行号:G 快速到达最末行:gg 快速到达最首行:u 撤销上一个操作:[输入你要到第几行的行号]shift+g直接跳到哪一行...原创 2021-09-04 13:16:32 · 90 阅读 · 0 评论