linux
TracyGao01
保持专注
展开
-
frp安装测试
用户名为客户端的ssh用户,服务端IP为服务端公网IP,端口号为client配置的端口号6000。frp主要是做内网穿透的,如下,用户可以通过一台有公网的server穿透访问到内网各个应用。Web端地址:http://公网IP:7500/static/#/server_addr = xxxxx #server端IP。token = aaa #与server端保持一致。ssh 用户名@服务端ip -p 端口号。#配置ssh访问client A。...原创 2022-08-23 19:08:47 · 541 阅读 · 0 评论 -
流量监控工具iftop简单安装、使用
系统:Centos7安装安装依赖yum install -y flex byacc libpcap ncurses-devel libpcap-devel gcc下载安装包 wget http://www.ex-parrot.com/pdw/iftop/download/iftop-1.0pre4.tar.gz编译安装tar zxvf iftop-1.0pre4.tar.gzcd iftop-1.0pre4./configure make && mak.原创 2021-05-11 15:40:25 · 507 阅读 · 0 评论 -
腾讯云liunx挂载云硬盘
https://cloud.tencent.com/info/8881db10806d59943457afd9745761f9.html转载 2019-05-15 19:40:01 · 321 阅读 · 0 评论 -
ubuntu 报错:“The following signatures couldn't be verified because the public key is not available”
报错:GPG error: https://apt.2ndquadrant.com trusty-2ndquadrant InRelease,The following signatures couldn't be verified because the public key is not available 解决:sudo apt-get update 2>&1 |...原创 2019-01-04 21:59:58 · 1468 阅读 · 1 评论 -
ubuntu16.04 关闭防火墙
关闭:ufw disable开启:ufw enable原创 2019-10-22 11:10:32 · 3616 阅读 · 0 评论 -
服务器hostname解析错误,ERROR [Cache] Unable to set localhost. 解决
根据字面意思就可以找到解决方法,没能set localhost,那我们就让它指向localhost方法:修改/etc/hosts我们直接将hostname指向127.0.0.1就行了原创 2017-12-21 14:34:08 · 1955 阅读 · 0 评论 -
关于open file limit问题解决
如果遇到open file limit问题Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl修改方法:(1)ulimit -HSn 102400这只是在当前终端有效,退原创 2017-12-01 09:22:50 · 14575 阅读 · 0 评论 -
CDH元数据的主从备份
目的:对CDH集群做数据备份,切主从同步环境:OS:Ubuntu14.0 (两台机器 :主从)DB:mysql步骤:1:主库元数据迁移(1) 锁库,备份期间防止元数据变化(一定要做,不然后续主从同步会有坑)FLUSH TABLES WITH READ LOCK;(2) 导出元数据:(数据库中的表结构及数据)mysqldump-uroot –p am...原创 2017-09-18 16:15:50 · 1432 阅读 · 0 评论 -
CDH 集群定期清理指南
1、清除hdfs回收站2 、 清空spark任务执行历史记录hadoop fs -ls /user/spark/applicationHistory清掉后再把回收站清理一下3、cloudera manager清理装cm的机器:/var/lib 路径下有如下文件:主要清理cloudera-host-monitor 、cloudera-service-monito...原创 2017-09-15 18:58:08 · 4570 阅读 · 1 评论 -
Name node is in safe mode 解除安全模式
hadoop dfsadmin -safemode leave原创 2017-09-15 18:02:19 · 857 阅读 · 0 评论 -
Kettle取代sqoop,实现hbase2mysql,mysql2hbase(小试)
背景:由于之前传统的数据库数据采集及集成到hbase,都在用sqoop(1.46),但是发现比较麻烦,虽然脚本很简单,但是还是比较繁琐,且发现各种bug,问题很多,就想采用kettle来做,本文档主要是对kettle可行性的调研本文采用kettle最新版本:7.1 (傻瓜式安装) cdh版本为5.11.0操作流程:由于最新版本的插件kettle7.1只能支持cdh5.10,...原创 2017-07-08 17:11:15 · 9740 阅读 · 0 评论 -
Flume-将数据写入动态分区表
一、 场景描述实时监控文件目录,将目录中的实时产生的数据文件(文件内容非动态)写入动态分区,分区为3级(设备ID/文件产生日期/文件产生的时间(h)).文件名格式如下(日期+时间+产品ID.txt)二、 主要存在的难点由于flume只支持传入一些简单的参数变量(时间/日期/文件名等),所以这里我们如果想动态的识别我们的文件名并直接生成sink的路径及相应文件名有困难。三、 解决方法...原创 2017-04-12 22:26:20 · 4977 阅读 · 0 评论