- 博客(33)
- 收藏
- 关注
RSS订阅原创 Flume采集日志存储到HDFS
3 先启动hdfs服务器上的flume。2 hdfs服务器上配置flume。4 再启动日志服务器上的flume。1 日志服务器上配置Flume。
2023-12-22 16:56:40
1419
原创 Linux下安装Flume
根目录下创建job目录，目录下新建 nc-flume-console.conf,将netcat输入的内容通过flume收集，并通过console打印在控制台。4 修改conf下的log4j.properties文件。3 删除lib目录下的guava-11.0.2.jar。在窗口中输入内容，在flume控制台打印说明安装成功。2 上传服务器并解压安装。
2023-12-22 14:55:01
1062
原创 Linux下配置伪分布式的Hadoop
1 安装jdk1.8，注意，jdk版本太高会导致hadoop无法正常启动和运行。5 编辑etc/hadoop/mapred-site.xml。5 编辑etc/hadoop/yarn-site.xml。4 编辑etc/hadoop/hdfs-site.xml。3 编辑etc/hadoop/core-site.xml。6 编辑etc/hadoop/hadoop-env.sh。8 生效配置 source /etc/profile。7 配置环境变量 /etc/profile。伪分布式的意思就是集群只有一台服务器。
2023-12-19 11:23:59
442
原创 Linux下安装ElasticSearch及配置安全
4 修改config/jvm.options,修改内存参数，默认为1g，如果服务器内存不够，适当调小参数。4 修改config/elasticsearch.yml,添加http访问权限。依次给es logstash kibina设置密码。9 测试访问,外网访问需服务器开通9200端口。5 启动es不允许root用户，创建es用户。3 安装java，并设置java环境变量。8 启动es,-d为后台运行模式。重启es，kill -9 进程号。1 下载ES，并上传至服务器。10 给es添加密码。
2023-12-15 13:02:38
408
原创 emqx集群配置
http://172.19.115.106:18083,登录默认用户名密码为 admin public ，第一次登录后会要求修改密码。节点名称@后面必须是机器所属的ip地址，更改服务器的cookie值并保持一致。4 访问dashboard，记得给开放服务器的端口1883 和18083。2 配置 etc/emqx.conf文件。1 下载emqx并解压安装。
2023-12-13 10:18:46
665
原创 linux安装Hive，mysql基于docker创建
8 derby 数据库存在着一些弊端，hive一般使用mysql，这里采用docker创建mysql。7 版本不一致解决，将hadoop中的jar包复制到hive中。docker ps 查看是否服务启动，在用客户端测试链接。10 将mysql的驱动文件拷贝到hive/lib目录下。6 开启hadoop，初始化数据库，启动hive。11 初始化mysql。前提开启hadoop集群。3 修改/etc/profile，添加环境变量。9 在hive中创建配置文件。
2023-12-08 10:32:29
412
原创 linux下配置zookeeper集群
4 修改配置文件名，改为zoo.cfg ,修改配置文件内容。6 在zkData下新建myid文件，内容为不重复的数字。3 在zookeeper目录下新建zkData目录。在/home/yang/bin下创建zk.sh。2 将安装文件复制到服务器，并解压。7 编写集群启动 停止脚本。hadoop102下为2。hadoop103下为3。hadoop104下为4。8 分别执行命令是否成功。
2023-12-07 15:50:56
414
原创 在Hadoop集群基础上配置spark
配置 /etc/profile.d/my_env.sh。在官网上下载安装介质，复制到服务器/tmp下。1 安装scala，版本 2.12.11。
2023-12-06 17:07:28
486
原创 Hadoop集群配置
core-site.xml、 hdfs-site.xml、 yarn-site.xml、 mapred-site.xml 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上， 用户可以根据项目需求重新进行修改配置。配置core-site.xml。不要安装在同一台服务器。也很消耗内存，不要和。配置在同一台机器上。
2023-11-30 13:41:05
393
原创 hadoop集群环境之SSH免密配置
1 用yang账户登录，来到/home/yang/.ssh下执行，在目录下会生成公钥和私钥文件 私钥：id_rsa 公钥： id_rsa.pub。3 在其他两台服务器上同样执行以上两个命令，相互公钥分发。6 查看在另外两台上是否存在bbb.txt。2 将生成的公钥分发到另外两台服务器上。在yang/下创建test.txt。
2023-11-29 16:30:23
417
原创 hadoop集群基本环境搭建
5 配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令。在 /home/yang/bin目录下创建 xsync文件。将home/yang/bin文件夹分发到另外两台服务器。7 服务器间拷贝文件 1774为ssh端口号。6 创建module文件夹，并赋予权限。将java环境变量分发到另外两台服务器。10 以root权限运行命令。9 授权文件或文件夹。
2023-11-29 14:57:06
426
原创 Linux下安装Hadoop
3 来到tmp目录下解压文件到/opt/module。2 将安装文件拷贝到服务器/tmp下。4 将hadoop添加到环境变量。1 去官方网站下载hadoop。
2023-11-28 16:15:10
406
原创 清理linux磁盘空间不足之清理docker容器日志
2 确定以上红框空间不足是docker容器引起 进入 cd /var/lib/docker/container。4 拿到container_id 后运用docker ps 命令确定是哪个容器。5 docker inspect 容器id 查看该容器的日志文件的位置。6 来到日志文件所在目录下 运行 ll -h 查看日志文件大小。3 命令 du -sh * 查看容器的占用空间。7 查看日志 tail -f log文件。9 再执行 df -h 查看磁盘占用情况。8 确定日志异常原因后，清空日志。
2023-11-03 14:56:47
199
原创 利用FileBeat、Logstash、ElasticSearch实现web日志存储
2 上传到服务器并解压，打开目录中的filebeat.yml，配置如下。1下载FileBeat,版本选择8.6.1。5 添加配置文件logstash.conf。4 新建logstash容器。3 拉取docker镜像。
2023-10-17 15:58:02
106
原创 docker下安装kibana
3 创建本地配d:/docker/kibana_test.yml。1 确认要连接的ES版本，kibana的版本必须和ES版本一致。5 访问http://localhost:5601。
2023-10-11 15:39:30
141
1
原创 docker下安装ES_head
3 跨域问题解决，到es根目录下找到config/elasticsearch.yml,添加以下配置。修改/usr/local/eshead/vendor.js。j将修改好的文件复制到容器内。重启es_head容器。
2023-10-11 15:03:40
376
1
原创 docker安装Redis
v D:/env/Redis/redis.conf:/etc/redis/redis.conf，把宿主机配置好的 redis.conf 放到容器内的这个位置中。-v D:/env/Redis/Data:/data，把 Redis 持久化的数据在宿主机内显示，做数据备份。-p: 指定端口映射，格式为：主机（宿主）端口:容器端口，如这里我都指定的是 6666。--name：为容器指定一个名称，如这里我指定的名称为 redis-6666。--appendonly：持久化设置。4 创建redis容器。
2023-09-12 13:51:05
107
1
原创 kafka性能之优化page cache参数
对于写压力特别大的，建议把这个参数适当调大；如果cached的数据所占比例（这里是占总内存的比例）超过这个设置，系统会停止所有的应用层的IO写操作，等待刷完数据后恢复IO。#当cached中缓存当数据占总内存的比例达到这个参数设定的值时将触发刷磁盘操作。把这个参数适当调小，这样可以把原来一个大的IO刷盘操作变为多个小的IO刷盘操作，从而把IO写峰值削平。#数据过期时间参数，这个参数会和参数vm.dirty_background_ratio一起来作用，一个表示大小比例，一个表示时间；
2023-08-30 15:46:13
240
原创 kafka-eagle（EFAK）搭建
9 $KE_HOME/bin/ke.sh start 启动，用户名 admin 密码 123456。7 开启JMX vim bin/kafka-server-start.sh中修改为。8 如果Kafka开启了安全认证如则需要修改sasl设置。4 mysql中创建 ke数据库。2 下载kafka-eagle。
2023-08-25 15:03:37
220
1
原创 kafka集群搭建、SASL配置
9 在/tmp/zookeeper/下 新建 myid文件，内容填写节点数字 0 其他节点分别填写 1 和2。10 在kafka/conf/下新增 kafka_server_jaas.conf。8 新建/tmp/kafka-logs目录 和 /tmp/zookeeper目录。11 配置 consumer.properties。12 配置 producer.properties。1 安装kafka需要安装JDK。7 配置zookeeper。18 kafka命令汇总。17 修改bin下命令。
2023-08-25 14:40:28
2130
2
原创 Docker安装MySQL
一般配置到此结束，服务器开放3306端口客户端能连接说明成功，如不成功参考一下步骤---------------------------------------------------------------------------------------------------------v /usr/local/mysql/data:/var/lib/mysql：映射数据目录，宿主机:容器。-v /usr/local/mysql/log:/var/log/mysql：映射日志目录，宿主机:容器。
2023-08-22 15:00:34
90
1
原创 Linux安装Docker
2 卸载原来的docker。4 安装docker引擎。3 安装docker。5 启动docker。6 测试docker。
2023-07-31 09:11:27
64
转载 docker安装tomcat，挂载目录，发布项目
3 （第一个容器）先创建一个tomcat-backup容器（记得两个容器不一样），这个tomca-backup目的是为了复制它自己conf,logs,webapps下的内容到宿主机的挂载目录，然后把这个目录挂载给tomcat-test，不然下面挂载tomcat-test的时候无法启动。-v：表示目录映射关系（前者是宿主机目录，后者是映射到宿主机上的目录），可以使用多个－v做多个目录或文件映射。2. on-failure: 在容器非正常退出时（退出状态非0），才会重启容器 ，最多重启3次。
2023-04-25 17:20:40
444
转载 Windows下安装ElasticSearch、安装可视化管理工具 Head 和 Kibana安装、配置ES用户名密码认证
Windows下安装ElasticSearch、安装可视化管理工具 Head 和 Kibana安装、配置ES用户名密码认证
2023-04-21 16:56:34
3145
2
空空如也
i3e 2030.5接口调用问题
2023-05-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人