weixin_42660202的博客

SparkStreaming并行度属性设置spark.streaming.blockInterval：该属性是对BatchInterval的进一步细化切分。将一个BatchInterval的数据喜欢切分成更小的block，一个block对应一个Spark Partition。BatchInterval的数据对应RDDblockInterval的数据对应RDD中的Partition所以SparkStreaming中Partition的数量公式如下：Partition个数 =..

创建简单索引 索引只能小写 curl -X PUT "localhost:9200/myindex?pretty"返回信息查看head索引页面使用脚本创建索引es.sh为控制脚本mapping为请求参数脚本内容如下:mapping文件{ "product": { "properties": { ...

vim /etc/ssh/sshd_configPort 自定义端口号PermitRootLogin yes 允许root登录PubkeyAuthentication yes 允许公匙认证PasswordAuthentication yes 允许密码认证PermitEnptyPassword no 禁止空密码登录/etc/init.d/ssh restart 或者 service...

-bash: fork: Cannot allocate memory问题，进程数满了的解决办法　　今天一大早来到公司就发现一台远程服务器的进程满了，无法连接上远程服务器，如下图所示：　　　　出现这种情况，主要是因为进程跑满了，memory被消耗光了，无法为其他的操作，包括vnc操作命令和SSH连接分配内存，我们可以用两个办法：　　1、init 6（重启服务器，注意，不是重启...

nginx下载地址 http://nginx.org/download/安装依赖 yum install pcre-devel zlib zlib-devel openssl openssl-devel -y下载nginx解压后进入根目录设置安装目录 ./configure --prefix=/usr/local/nginx安装...

1.下载依赖libfastcommon wgethttps://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz2.解压安装 tar -zxvf V1.0.7.tar.gz cd libfastcommon-1.0.7/ ./make.sh ./make.sh install...

Linux中查看网卡流量工具有iptraf、iftop以及nethogs等，iftop可以用来监控网卡的实时流量(可以指定网段)、反向解析IP、显示端口信息等。centos安装iftop的命令如下：yum install iftop -y复制代码常用参数说明：-i设定监测的网卡，如：iftop -i eno1复制代码其中eth1是服务器的公网网卡，网卡名称可以通过ifco...

1.公共控制脚本workspace/common/public.sh# 公共的控制脚本basepath=$(cd `dirname $0`; pwd)function start(){count=`ps -ef |grep ${projectName}.jar |grep -v "grep" |wc -l`if [ 0 == $count ];thenecho "正在启...

linux查找软件查找包 rpm -qa |grep influx删除具体的包 rpm -ev

1.创建密匙 输入命令 ssh-keygen 点击4下回车 得到.ssh隐藏目录 目录结构(如果是root用户将路径中的home改成root) /home/.ssh/ id_rsa 私匙 解密公匙使用 id_rsa.pub 公匙,这个公匙可以发送给别的服务器实现免密登录2.创建免密登录文件 ...

docker的使用

一 : 安装redis1.安装redis依赖 yum install gcc-c++2.下载redis安装包 官网下载.....3. 解压reids包,进入redis根目录编译make cd redis make 得到src目录 ,即安装目录4.修改配置5.启动 redis-server redis.conf ...

1.获取程序运行的id号 (jps)2.获取对应进程的dump.log文件jmap -dump:live,format=b,file=dump.log 23354 (这个命令最后面跟进程id即获取对应进程的dump文件)3.jdk自带分析工具目录<JDK_HOME>/bin/jvisualvm.exe 双...

同步时间 yum installntpdate ntpdate cn.pool.ntp.orglinux资源监控 1.下载安装包tsar,依赖gcc yum -y install gcc gcc-c++ / git clone git://github.com/kongjian/tsar.git 2.解压编译安...