Linux
文章平均质量分 73
施小赞
人生苦短,我爱编程
展开
-
9、DataX安装部署
通常情况下,离线数据同步任务需要每日定时重复执行,故HDFS上的目标路径通常会包含一层日期,以对每日同步的数据加以区分,也就是说每日同步数据的目标路径不是固定不变的,因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果,就需要使用DataX传参的功能。DataX的使用十分简单,用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer,并将Reader和Writer的信息配置在一个json文件中,然后执行如下命令提交数据同步任务即可。原创 2023-07-05 13:40:32 · 3081 阅读 · 0 评论 -
7、Maxwell安装部署
但有时只有增量数据是不够的,我们可能需要使用到MySQL数据库中从历史至今的一个完整的数据集。1)第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据,是bootstrap开始和结束的标志,不包含数据,中间的type为bootstrap-insert的数据才包含数据。Maxwell需要在MySQL中存储其运行过程中的所需的一些数据,包括binlog同步的断点位置(Maxwell支持断点续传)等等,故需要在MySQL为Maxwell创建数据库及用户。原创 2023-07-05 11:28:52 · 1061 阅读 · 0 评论 -
6、Flume安装部署
按照规划,需要采集的用户行为日志文件分布在hadoop102,hadoop103两台日志服务器,故需要在hadoop102,hadoop103两台节点配置日志采集Flume。(1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下。修改/opt/module/flume/conf/flume-env.sh文件,配置如下参数(虚拟机环境暂不配置)(2)解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下。原创 2023-07-05 11:10:03 · 759 阅读 · 0 评论 -
5、Kafka安装部署
因为Zookeeper集群当中记录着Kafka集群相关信息,Zookeeper集群一旦先停止,Kafka集群就没有办法再获取停止进程的信息,只能手动杀死Kafka进程了。5)分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2。(1)在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置。(2)把主题中所有的数据都读取出来(包括历史数据)。原创 2023-07-05 11:00:35 · 221 阅读 · 0 评论 -
4、Zookeeper分布式安装部署
集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。(1)重命名/opt/module/zookeeper/conf这个目录下的zoo_sample.cfg为zoo.cfg。(2)在/opt/module/zookeeper/zkData目录下创建一个myid的文件。(1)在/opt/module/zookeeper/这个目录下创建zkData。原创 2023-07-04 18:06:18 · 1010 阅读 · 0 评论 -
Linux下mysql5.7.28安装
1)/opt/software目录下上传MySQL安装包以及MySQL驱动jar包。1)用刚刚查到的密码进入MySQL(如果报错,给密码加单引号)2)设置复杂密码(由于MySQL密码策略,此密码必须足够复杂)7)修改user表,把Host表内容修改为%3)非必选 更改MySQL密码策略。5)安装mysql-client。6)安装mysql-server。4)非必选 设置简单好记的密码。2)解压MySQL安装包。4)安装MySQL依赖。8)查看MySQL密码。注意:若出现以下错误。5)进入MySQL库。原创 2023-05-29 17:34:36 · 826 阅读 · 0 评论 -
Linux下安装nginx
链接: https://pan.baidu.com/s/1RYqotdX5ziFbj-KlvB5zeQ 提取码: 6jni 云盘中有相关安装包。找到你安装的源码包(不是/usr/local/nginx)是那个带有版本号的位置。然后将刚刚编译好的nginx覆盖掉原有的nginx (这个时候nginx要停止状态)进入目录 /usr/local/nginx/sbin/nginx 启动服务。3.将pcre-8.37移动到 /usr/local/目录下。4.在/usr/local/pcre-8.37 目录下。原创 2023-06-15 14:49:01 · 537 阅读 · 0 评论 -
Linux性能问题排查
1、生产环境服务器变慢,诊断思路和性能评估谈谈?整机:top uptime,系统性能命令的精简版CPU:vmstatvmstat -n 2 3一般vmstat工具的使用是通过两个数字参数来完成的,第一个参数是采样的时间间隔单位是秒,第二个参数是采样的次数- procsr:运行和等待CPU时间片的进程数,原则上1核的CPU的运行队列不要超过2,整个系统的运行队列不能超过总核数的2倍,否则代表系统压力过大 b:等待资源的进程数,比如正在等待磁盘I/O,网络I/O等。原创 2021-11-25 14:39:43 · 7274 阅读 · 0 评论 -
nacos的集群安装
1个Nginx+3个nacos注册中心+1个mysql1 解压 nacos-server-1.2.0.tar.gz2. 运行 nacos-mysql.sql/******************************************//* 数据库全名 = nacos_config *//* 表名称 = config_info *//******************************************/CREATE TABLE `co原创 2021-09-09 17:03:42 · 307 阅读 · 0 评论 -
Linux 下安装maven
1、安装wget命令如果需要通过使用wget命令,直接通过网络下载maven安装包时,需要在linux系统中安装wget命令。yum -y install wget2.下载 页面 https://maven.apache.org/download.cgi在 /opt 目录下wget https://www-eu.apache.org/dist/maven/maven-3/3.6.0/b...原创 2018-12-11 15:05:00 · 215 阅读 · 0 评论 -
docker 安装 jenkins
1.个人习惯 在/www下新建jenkins文件夹,在jenkins文件夹下新建jenkins_home文件夹mkdir -p /www/jenkins/jenkins_home2.给 jenkins_home 授权因为当映射本地数据卷时,/www/jenkins/jenkins_home目录的拥有者为root用户,而容器中jenkins user的uid为1000执行如下命令即可:c...原创 2018-12-20 21:05:48 · 164 阅读 · 0 评论 -
Nginx简单部署前端页面
1.先安装 node curl --silent --location https://rpm.nodesource.com/setup_9.x | sudo bash -2.sudo yum install -y nodejs3.将前端打包页面解压的 dist 文件夹 上传到 /www/nginx/html 目录下修改配置文件 default.conf 如图重启 nginx 容器i...原创 2018-12-12 21:49:51 · 9169 阅读 · 1 评论 -
Linux下查看端口占用情况
lsof -i:80COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEdocker-pr 21961 root 4u IPv6 82062078 0t0 TCP *:http (LISTEN)可以看到 80 端口已经被 docker -pr占用 可以看到 80 端口已经被 docker -pr占...原创 2018-12-12 20:35:11 · 474 阅读 · 0 评论 -
Linux下jar包的部署
配置运行脚本1.配置脚本选好你要部署到的文件路径 ,假设项目名是ABC,这里我选的是/home/ABC/,然后建立几个文件夹和一个运行脚本。cd /home/ABCmkdir configmkdir heapdumpmkdir logtouch restart.sh目录结构|——home|————ABC|——————config (jar 项目的配置文件{a...原创 2018-08-21 20:47:59 · 2789 阅读 · 0 评论 -
Linux查看日志常用命令
1.查看日志常用命令 tail: -n 是显示行号;相当于nl命令;例子如下: tail -100f test.log 实时监控100行日志 tail -n 10 test.log 查询日志尾部最后10行的日志; tail -n +10 test.log 查询10...转载 2018-08-09 16:53:43 · 740 阅读 · 0 评论 -
Linux 下安装jdk1.8
在安装之前先确认系统中并未安装jdk,输入java -version显示命令找不到,否则请先卸载再在安装jdk下载页面:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html在/opt目录下 wget http://download.oracle.com/ot...原创 2018-03-09 20:22:23 · 231 阅读 · 0 评论