Linux
文章平均质量分 69
Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。
日月星辰TEL
如果技术不用于分享,将黯然失色...
展开
-
虚拟化容器技术之Docker学习(一)
一、Docker介绍前言 - Docker —— 从入门到实践Docker 教程 | 菜鸟教程Install Docker Desktop on Windows | Docker Documentation二、Docker原理三、Docker安装Docker下载:Install Docker Desktop on Windows | Docker Documentation1、打开虚拟化HyperV2、安装Windows Feature: WSL...原创 2021-12-24 21:34:34 · 1901 阅读 · 8 评论 -
大数据集群之spark2.4.0高可用安装配置
一、安装准备下载地址:https://archive.apache.org/dist/spark/官方文档:http://spark.apache.org/docs/latest/二、解压安装解压缩文件cd /usr/local/hadooptar zxpf spark-2.4.0-bin-hadoop2.7.tgz2、创建软链接ln -s spark-2.4.0-bin-hadoop2.7.tgz spark三、修改配置文件slaveshadoop00.原创 2020-06-25 21:49:56 · 1745 阅读 · 0 评论 -
Linux下载安装NodeJS
一、NodeJS介绍NodeJS官网:https://nodejs.org/zh-cn/NodeJS下载:https://nodejs.org/zh-cn/download/二、NodeJS下载wget https://nodejs.org/dist/v14.17.4/node-v14.17.4-linux-x64.tar.xz三、NodeJS安装四、NodeJS运行原创 2021-08-07 10:39:35 · 1565 阅读 · 1 评论 -
Win10安装Ubuntu20.04LTS子系统
https://www.jianshu.com/p/180853ead145现如今Linux的学习和使用门槛是越来越低了,Windows10在2015就内置了Linux系统,到现在也有了几个版本。安装安装步骤:打开Microsoft Store(微软商店):通过此种方式安装需要登录Microsoft账户。Microsoft Store 图标搜索Linux并选择需要的发行版及版本,点击获取按钮进行下载::Microsoft Store 界面商店应用详情页.原创 2021-07-28 16:49:18 · 1689 阅读 · 0 评论 -
Linux报错:rm: 无法删除“xxx“: 结构需要清理
一、问题描述重新清理hdfs的时候,发现有一个文件删除不了,出现以下报错rm: 无法删除"xxx": 结构需要清理二、问题解决1、查看问题文件的挂载磁盘df -h2、卸载磁盘挂载umount /dev/mapper/centos-home3、磁盘挂载修复xfs_repair /dev/mapper/centos-home4、重启系统reboot5、重新清理文件rm -rf /home/cluster/hadoop/data/.原创 2021-04-16 09:56:27 · 6906 阅读 · 0 评论 -
Linux(CentOS7)安装Redis6.0.1
yum指定目录安装后,环境变量要自己配置yum --installroot=/usr/local/mysql --releasever=/ -y install mysql-serveryum install redissystemctl start redissystemctl enable redis原创 2020-12-19 10:46:42 · 546 阅读 · 0 评论 -
大数据日志收集框架之Flume实战
一、环境准备1、安装包下载jdk1.8:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlflume1.9.0:http://flume.apache.org/download.html2、安装flume解压flume到 /usr/lcoal目录下tar zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/创建软连接ln -s..原创 2020-11-13 22:10:59 · 1198 阅读 · 0 评论 -
网络测试工具 NetCat 部署使用
目录1、官方下载2、执行nc.exe3、执行nc命令1、官方下载https://eternallybored.org/misc/netcat/两个版本都可以使用,这里选择netcat 1.122、执行nc.exe直接点击nc.exe或nc64.exe文件,开两个 cmd窗口两个窗口分别执行以下两个命令,一个发送消息,一个接收消息,直接执行 nc文件可以省略nc的命令前缀-l -p 88888localhost 888883、...原创 2020-10-30 11:39:48 · 1258 阅读 · 0 评论 -
大数据压缩处理:数据分卷压缩和分卷压缩解压
前言最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN,但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G然后再通过VPN上传到服务器就相对容易能保证数据的完整性数据分卷压缩1、右键点击文件,选择“添加到压缩文件”2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G压缩之每个分卷..原创 2020-09-28 10:06:48 · 3177 阅读 · 0 评论 -
Linux离线安装MySQL5.7.24
一、下载MySQL5.7下载地址:https://downloads.mysql.com/archives/community/二、卸载mariadb1、查看mariadb数据库是否安装rpm -qa | grep mariadbwhich mysqlwhereis mysql2、卸载mariadbrpm -e mariadb-server --nodepsrpm -e mariadb-* --nodepsrpm -e mariadb-devel --nodeps.原创 2020-12-18 13:57:43 · 518 阅读 · 0 评论 -
Linux脚本一键安装配置Nginx+FastDFS
1、环境准备yum -y update && yum -y install cmake make gcc gcc-c++ openssl-devel vim wget2、文件准备/usr/local/software目录下准备以下文件fastdfs-5.11.tar.gzfastdfs-nginx-module_v1.16.tar.gzlibfastcommon-1.0.38.tar.gznginx-1.6.2.tar.gz3、实现代码#!/bin/b原创 2020-08-21 14:12:14 · 829 阅读 · 0 评论 -
CentOS7 离线安装 Nginx 1.6.2 和 反向代理
1、依赖包准备Nginx官方文档:https://www.nginx.com/resources/wiki/start/依赖包可在此网站下搜索:http://vault.centos.org/7.4.1708/os/x86_64/Packages/pcre-devel-8.32-17.el7.x86_64.rpmzlib-devel-1.2.7-18.el7.x86_64.rpmopenssl-devel-1.0.2k-8.el7.x86_64.rpmpcre2-10.23-2.el原创 2020-08-17 11:39:34 · 1226 阅读 · 0 评论 -
Linux内核报错解决办法:kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 30s
cp /proc/sys/kernel/watchdog_thresh /proc/sys/kernel/watchdog_thresh.templateecho 30 > /proc/sys/kernel/watchdog_threshecho "kernel.watchdog_thresh=30" >> /etc/sysctl.conf sysctl -w kernel.watchdog_thresh=30sysctl -q vm.swappiness...转载 2020-07-05 17:58:29 · 51565 阅读 · 12 评论 -
VMware安装VMwareTools实现windows目录共享
一、安装依赖包yum -y install perl gcc gcc-c++ make kernel-headers kernel-devel open-vm-tools二、安裝 VMware Tools三、根据提示装载CD驱动器mkdir /mnt/cdrommount /dev/cdrom /mnt/cdromcd /mnt/cdrom/ls四、解压安装程序cp VMwareTools-10.3.10-13959562.tar.gz /opt/.原创 2020-06-24 18:43:32 · 1273 阅读 · 3 评论 -
Linux在windows上共享目录
1、linux安装sambayum -y install samba2、备份配置文件cp /etc/samba/smb.conf /etc/samba/smb.conf.backup3、添加访问账户用户名密码smbpasswd -a root4、配置共享目录sudo vi /etc/samba/smb.conf在文件尾追加以下内容[share] path = /data/home/t_route/ available.原创 2020-06-24 12:23:42 · 922 阅读 · 0 评论 -
hadoop集群动态扩展节点
一、修改hostnamehostnamectl set-hostname hadoopxx二、修改网络配置ifconfigcat /etc/sysconfig/network-scripts/ifcfg-ens33cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltevim /etc/sysconfig/network-scri...原创 2020-05-21 11:13:31 · 1223 阅读 · 0 评论 -
cdh6.3.2 环境变量配置
# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc# It's NOT a good idea to change this file unless you know what you# are doing. It's much better to create a custom.sh shell script.原创 2020-05-18 10:18:57 · 2699 阅读 · 0 评论 -
Win10安装Hadoop3.0.0(大数据入门必经之路)
一、下载hadoop3.0.0下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/下载文件:hadoop-3.0.0.tar.gz二、下载winutils工具下载地址:https://github.com/steveloughran/winutils下载文件:hadoop-3.0.0/bin三、解...原创 2020-05-05 09:56:37 · 4041 阅读 · 3 评论 -
Linux 查看CPU核心数、内存大小和硬盘分配
1、Linux 查看CPU核心数cat /proc/cpuinfo | grep "model name" && cat /proc/cpuinfo | grep "physical id"2、Linux查看内存大小cat /proc/meminfo | head -n 163、Linux查看磁盘占用df -h...原创 2020-05-03 17:21:38 · 3528 阅读 · 0 评论 -
Linux 安装 scala2.12.11
一、下载scala安装包Linux:scala-2.12.11.tgzwindow:scala-2.12.11.zip二、上传到Linux下cd /usr/localrz三、解压scala安装包tar -zxvf /usr/local/scala-2.12.11.tgz -C /usr/local/四、创建软链接ln -s /usr/local/scal...原创 2020-04-23 14:45:03 · 2183 阅读 · 3 评论 -
windows安装cygwin,再也不用开虚拟机练习Linux命令了
前言什么是cygwin?cygwin大量GNU和开源工具的集合,它们提供的功能类似于Windows上的Linux发行版。一个提供大量POSIX API功能的DLL (cygwin1.dll)。1、Cygwin 下载http://www.cygwin.com/setup-x86_64.exe2、Cygwin 安装点击setup-x86_64.exe安装选择 I...原创 2020-04-22 17:32:30 · 2597 阅读 · 11 评论 -
shell脚本监控文件夹文件实现自动上传数据到hive表
createtb.sh#!/bin/bash#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"string=$*group=(${string//;/ })for i in ${group[@]};do ((m++)) if [[ m -eq 1 ]]...原创 2020-04-16 16:54:18 · 1854 阅读 · 0 评论 -
拒绝手敲,hive创建表只需要输入表名和字段即可自动建表(shell脚本实现)
#!/bin/bash# $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段# 数据库名称,这里不作为参数用自变量写了database="observation"# hive 拼接语句,分为h1,h2,h3 # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部h1="create external table $database.$1("# ...原创 2020-04-10 17:30:26 · 2182 阅读 · 3 评论 -
shell for循环拼接字符串
# 在当前目录下创建文本文件temp,如果文件存在则清空文件$(> tempfile)# for 循环将参数追加到当前目录的temp文件,逗号分隔,echo -n 不换行for ((i=4;i<$#;i++));do echo -n ${i}, >> tempfile done# h2取tempfile文本里的字符串h2=$(cat tempfile)# ...原创 2020-04-10 16:14:17 · 12927 阅读 · 0 评论 -
三种方法实现Linux打印文件夹下所有文件的日期信息
ls --full-time -lt | tail -n -$(ls | wc -l) | awk '{print $6,$7}'原创 2020-04-09 16:15:20 · 1897 阅读 · 0 评论 -
Linux 查看目录下所有的日期信息(按最新日期排序)
# 当前目录有四个文件ll# 查看目录下文件日期的详细信息ls --full-timemonitor.sh#!/bin/bashecho "-----------------"let "total=$(ls | wc -l)"list=$(ls --full-time -lt | tail -n -$total | awk '{print $6,$7}'...原创 2020-04-09 14:18:46 · 5570 阅读 · 0 评论 -
Linux 离线安装 python 3.6.10
准备文件:Python-3.6.10.tgzcd /usr/local/tar -zxvf Python-3.6.10.tgzcd /usr/local/Python-3.6.10yum updateyum -y install gcc-c++./configure./configure --enable-optimizationsmake && make in...原创 2020-04-08 19:29:14 · 1273 阅读 · 0 评论 -
Linux shell脚本实现命令批处理和文件批量分发
vim exall.sh#!/bin/bashecho "------start execyting the shell script------"# awk 读取hosts文件的第二部分hosts=$(cat /etc/hosts | tail -n +3 | awk '{print $1}')# 传递的指令(参数)cmd=$*# for循环读取文件for host ...原创 2020-04-06 23:07:22 · 1777 阅读 · 2 评论 -
大数据进阶之 shell 脚本开发
shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e:...原创 2020-04-04 23:30:46 · 973 阅读 · 1 评论 -
CDH 6.3.2 安装(二)
一、网络配置1、静态网卡配置先查看原本的配置信息cat /etc/sysconfig/network-scripts/ifcfg-ens33防止配置失败,先备份一份cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltecat /e...原创 2020-03-29 10:36:19 · 10428 阅读 · 17 评论 -
CDH 6.3.2 安装(一)
1、安装vimyum -y install vim2、主机名配置vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=cdh13、网络配置vim /etc/hosts原创 2020-03-24 10:58:46 · 5501 阅读 · 3 评论 -
VMware15 Pro 安装 Centos7
一、Centos系统下载Centos镜像地址:https://man.linuxde.net/download/CentOS/二、VMare15 Pro下载网盘链接:https://pan.baidu.com/s/1kamEUMRidF_7PADAI9usAw提取码:8y35三、安装VMare15 Pro根着提示安装,选择个人免费版即可四、VMare15 Pro 安装...原创 2020-03-24 10:30:27 · 874 阅读 · 0 评论 -
Linux中ping不通外网
root权限执行 vim /etc/resolv.conf ,修改成:nameserver 114.114.114.114nameserver 8.8.8.8修改之后再ping一次ping hao123.com说明:nameserver 114.114.114.114 (电信的DNS)nameserver 8.8.8.8(googel的DNS)...转载 2019-10-26 11:43:48 · 806 阅读 · 0 评论 -
linux安装rar解压程序
1、在线下载tar.gz压缩文件wget https://www.rarlab.com/rar/rarlinux-x64-5.7.1.tar.gz2、解压下载文件tar -zxvf rarlinux-x64-5.7.1.tar.gz3、进入解压的文件目录cd rar4、安装文件make完成!解压文件命令:unrar test.rar...原创 2019-08-29 21:28:25 · 574 阅读 · 0 评论