![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
运维
文章平均质量分 63
小钻风巡山
咸鱼即将翻身
展开
-
Flume运维
Flume使用与监控原创 2018-08-08 10:30:40 · 4120 阅读 · 1 评论 -
大数据项目软硬件选择
it项目软硬件环境选择原创 2023-03-03 19:16:36 · 1215 阅读 · 0 评论 -
Kafka请求参数
kafka参数原创 2023-03-01 09:35:01 · 207 阅读 · 0 评论 -
HDFS 优化
HDFS优化原创 2023-02-26 05:21:42 · 494 阅读 · 0 评论 -
linux磁盘挂载
磁盘挂载原创 2023-02-26 03:47:38 · 158 阅读 · 0 评论 -
Yarn调度器
Yarn调度配置原创 2023-02-26 03:09:06 · 112 阅读 · 0 评论 -
Hadoop 压缩算法
压缩算法原创 2023-02-24 02:35:01 · 82 阅读 · 0 评论 -
maven引入三方包
maven引入第三方jar包到本地仓库给自己的包定义一个pom坐标,随便定义,maven后面可以在pom中通过这个坐标去引用外部第三方jar <groupId>groupId</groupId> <artifactId>artifactId</artifactId> <version>version</version> mvn install:install-file -...原创 2021-04-21 10:09:32 · 251 阅读 · 0 评论 -
hive安装配置
hive搭建原创 2021-04-12 10:51:13 · 315 阅读 · 1 评论 -
hue安装
1.拉取hue的docker镜像 这里使用hue-4.9.0拉取的进行不同,镜像内部的脚本部署以及安装目录不相同,这里使用的是docker.io/gethue/huedocker search huedocker pull docker.io/gethue/hue原创 2021-04-12 09:11:15 · 2719 阅读 · 7 评论 -
superset可视化平台
可视化分析原创 2021-04-06 14:59:17 · 783 阅读 · 2 评论 -
系统压测,瓶颈测试
1.两台服务器之间的网速测试服务端iperf -s -i 1 -w 1M客户端 iperf -c 192.168.155.112 -i 1 -w 1M原创 2021-03-25 17:20:05 · 140 阅读 · 0 评论 -
python pip安装依赖速度太慢解决方法
例如安装 opencv-python指定清华源pip install --user -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python原创 2020-12-21 10:20:13 · 574 阅读 · 2 评论 -
sqoop
sqoop使用hsql来存储job信息,开启metastor service将job信息共享,所有node上的sqoop都可以运行同一个job一、sqoop的配置文件在sqoop.site.xml中: 1、sqoop.metastore.server.location 本地存储路径,默认在tmp下,改为其他路径 2、sqoop.metastore.server.port metastore service端口号 3、sqoop.met...原创 2020-09-01 14:57:25 · 516 阅读 · 1 评论 -
Cannot allocate memory问题
-bash: fork: Cannot allocate memory问题,进程数满了的解决办法 今天一大早来到公司就发现一台远程服务器的进程满了,无法连接上远程服务器,如下图所示: 出现这种情况,主要是因为进程跑满了,memory被消耗光了,无法为其他的操作,包括vnc操作命令和SSH连接分配内存,我们可以用两个办法: 1、init 6(重启服务器,注意,不是重启...转载 2019-10-16 16:02:49 · 69412 阅读 · 2 评论 -
linux磁盘挂载命令
设置磁盘挂载查看服务器磁盘查看磁盘分配及是否挂载lsblk查看磁盘详细情况fdisk-l格式化磁盘mkfs.ext4 /dev/sdb设置开机自动挂载在系统文件/etc/fstab添加一条记录,需先创建挂载目录,并保证挂载目录为空vim /etc/fstab/dev/sdb /data ...原创 2019-11-01 21:03:21 · 1269 阅读 · 0 评论 -
java代码中嵌入shell语句
/** * 执行shell语句 * * @param shell * @return */public static String execShell(String shell, boolean log) throws Exception { InputStream inputStream = null; BufferedReader br = null; ...原创 2019-12-13 16:32:05 · 256 阅读 · 0 评论 -
centos ssh认证
vim /etc/ssh/sshd_configPort 自定义端口号PermitRootLogin yes 允许root登录PubkeyAuthentication yes 允许公匙认证PasswordAuthentication yes 允许密码认证PermitEnptyPassword no 禁止空密码登录/etc/init.d/ssh restart 或者 service...原创 2019-12-16 15:58:32 · 136 阅读 · 0 评论 -
Elasticsearch URL语法
创建简单索引 索引只能小写 curl -X PUT "localhost:9200/myindex?pretty"返回信息查看head索引页面使用脚本创建索引es.sh为控制脚本mapping为请求参数脚本内容如下:mapping文件{ "product": { "properties": { ...原创 2019-12-18 15:44:47 · 1408 阅读 · 0 评论 -
ubuntu系统 依赖管理
安装依赖 apt-get install mongoDB卸载依赖 apt-get removemongoDB更新apt-get apt-get update搜索软件包 apt-cache search mongoDB原创 2019-12-20 10:47:39 · 228 阅读 · 0 评论 -
python cham解释器
pyCharm 如何使用通过CMD pip install 方式安装的依赖包前言在window下通过cmd(win+r 打开运行,然后输入 cmd,按下回车即可打开)方式来安装Python依赖包是一种方便快捷的方式。但是往往很多时候由于pyCharm与Python安装在不同的路径,即使你已经用cmd pip install的方式在你的电脑上安装了依赖包,pyCharm依然无法使用,这时候你可以选择在pyCharm上再装一遍这些依赖包,但这样你的电脑里就有了两份相同的依赖包,看着日益丰满的硬盘实在是转载 2020-05-08 19:20:12 · 1245 阅读 · 0 评论 -
sigar采集服务器信息
安装依赖windows版本下载文件 sigar-amd64-winnt.dll 放入目录 C:\Windows\System32 中linux版本下载文件libsigar-amd64-Linux.so 添加到/usr/lib64或者/lib64或者/lib或者/usr/libjava 代码pom依赖<dependency> <group...原创 2019-12-04 17:43:05 · 118 阅读 · 0 评论 -
java无响应堆栈信息排查
1.先找到程序的进程id2.获取进程的线程jstack -F 18176这个程序没有被锁死的线程,上图信息中会写哪一个线程被锁死了3 使用jdb连接JVM查看线程情况jdb -connect sun.jvm.hotspot.jdi.SAPIDAttachingConnector:pid=181764.查看线程列表5.获取某一个线程的堆栈信息...原创 2019-12-02 17:10:36 · 1015 阅读 · 0 评论 -
内存分析
1.获取程序运行的id号 (jps)2.获取对应进程的dump.log文件jmap -dump:live,format=b,file=dump.log 23354 (这个命令最后面跟进程id即获取对应进程的dump文件)3.jdk自带分析工具目录<JDK_HOME>/bin/jvisualvm.exe 双...翻译 2019-01-22 11:14:30 · 148 阅读 · 0 评论 -
redis集群安装
一 : 安装redis1.安装redis依赖 yum install gcc-c++2.下载redis安装包 官网下载.....3. 解压reids包,进入redis根目录编译make cd redis make 得到src目录 ,即安装目录4.修改配置5.启动 redis-server redis.conf ...原创 2019-01-14 18:21:37 · 99 阅读 · 0 评论 -
docker 使用
docker的使用原创 2018-11-09 12:48:29 · 1070 阅读 · 1 评论 -
免密登录配置 ssh
1.创建密匙 输入命令 ssh-keygen 点击4下回车 得到.ssh隐藏目录 目录结构(如果是root用户将路径中的home改成root) /home/.ssh/ id_rsa 私匙 解密公匙使用 id_rsa.pub 公匙,这个公匙可以发送给别的服务器实现免密登录2.创建免密登录文件 ...原创 2018-09-28 16:31:56 · 3237 阅读 · 2 评论 -
TortoiseSVN的bin目录中没有svn.exe
TortoiseSVN的bin目录中没有svn.exe为什么没有,是因为安装TortoiseSVN的时候没有勾选指定安装项;找到svn的安装包,不用卸载旧的直接安装:1、选择Modify2、注意这一点:勾选command line client tools项OK!!!!安装完成后再去你的bin目录下就可以找到svn.exe了...转载 2019-03-05 10:27:57 · 2192 阅读 · 0 评论 -
GC
-XX:+PrintGC-XX:+PrintGCDetails-XX:+PrintGCTimeStamps-Xloggc:${LOG_DIR}/${APP_NAME}/GC_${APP_NAME}.log配置参数 功能 -Xms 初始堆大小。如:-Xms512m -Xmx 最大堆大小。如:-Xmx512m 堆中包括年轻代,老年代 初始化与最大只好保持一样...原创 2019-03-22 12:33:25 · 131 阅读 · 0 评论 -
java 项目自动控制维护脚本
1.公共控制脚本workspace/common/public.sh# 公共的控制脚本basepath=$(cd `dirname $0`; pwd)function start(){count=`ps -ef |grep ${projectName}.jar |grep -v "grep" |wc -l`if [ 0 == $count ];thenecho "正在启...原创 2019-08-13 10:27:46 · 183 阅读 · 0 评论 -
网络io监控与带宽测试
Linux中查看网卡流量工具有iptraf、iftop以及nethogs等,iftop可以用来监控网卡的实时流量(可以指定网段)、反向解析IP、显示端口信息等。centos安装iftop的命令如下:yum install iftop -y复制代码常用参数说明:-i设定监测的网卡,如:iftop -i eno1复制代码其中eth1是服务器的公网网卡,网卡名称可以通过ifco...原创 2019-08-07 18:50:28 · 1483 阅读 · 0 评论 -
FastDFS 安装部署
1.下载依赖libfastcommon wgethttps://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz2.解压安装 tar -zxvf V1.0.7.tar.gz cd libfastcommon-1.0.7/ ./make.sh ./make.sh install...原创 2019-08-07 11:16:27 · 148 阅读 · 0 评论 -
nginx主备部署
nginx下载地址 http://nginx.org/download/安装依赖 yum install pcre-devel zlib zlib-devel openssl openssl-devel -y下载nginx解压后进入根目录设置安装目录 ./configure --prefix=/usr/local/nginx安装...原创 2019-07-20 15:39:24 · 677 阅读 · 0 评论 -
spark 性能调优
转自:https://www.cnblogs.com/jcchoiling/p/6440709.html核心调优参数如下: 1 2 3 4 5 6 7 num-executors executor-memory executor-cores driver-memory spa...转载 2019-06-10 14:09:35 · 238 阅读 · 0 评论 -
maven scala依赖
<properties> <scala.version>2.11.8</scala.version> </properties> <dependencies> <dependency> <groupId>org.scala-lang...原创 2019-05-08 13:01:03 · 2435 阅读 · 0 评论 -
linux命令 tsar 服务器监控CPU 内存
同步时间 yum installntpdate ntpdate cn.pool.ntp.orglinux资源监控 1.下载安装包tsar,依赖gcc yum -y install gcc gcc-c++ / git clone git://github.com/kongjian/tsar.git 2.解压编译安...原创 2018-08-09 11:57:58 · 984 阅读 · 0 评论