Lv的程序人生

如果你发现运行了一段时间的进程突然不见了，那可能是内核嫉妒生恨把它给干掉了查询内存溢出被杀掉的进程可以直接通过系统日志来查 grep “Out of memory” /var/log/messages也可以通过专门的命令查找 dmesg -T | grep “Out of memory”

Rejected connection from xx.xx.xx.xx, address already has the configured maximum of 10 connections.问题描述解决方法问题描述Spark Streaming 启动读取Kafka时一直在报错，信息如下：19/02/20 12:04:45 ERROR JobScheduler: Error runn...

报错信息为map端的orc写入相关错误，现设置如下参数解决：set hive.exec.orc.default.compress.size=8192;set mapreduce.map.memory.mb=2048;set hive.exec.orc.default.buffer.size=16384;set hive.exec.orc.skip.corrupt.data=true;

本篇内容为大家提供的是IntelliJ IDEA 使用教程中的IntelliJ IDEA 常用设置讲解，IntelliJ IDEA是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等方面的功能可以说是超常的。 。感兴趣的同学可以参考学习下，具体内容

在linux2.6.38之前，处理大容量内存工作集的高性能关键计算应用是运行在libhugetlbfs之上，必须依赖于hugetlbfs，。透明Hugepage支持是一种替代手段，它使用大内存页，并且虚拟内存页的大小可以动态变化，没有hugetlbfs的缺点。目前只适用于匿名内存映射，但未来可以扩展到tmpfs的papecache层。大内存页的优点：巨大的页面可以通

kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词：1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Br

今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。下面是熵的定义 如果一个随机变量的可能取值为，对应的概率为，则随机变量的熵定义为              有了信息熵的定义，接下来开始学习相对熵。 Contents    1. 相对熵的认

hbase性能调优一、服务端调优 1、参数配置   1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越

wget http://people.centos.org/tru/devtools-2/devtools-2.repomv devtools-2.repo /etc/yum.repos.dyum install devtoolset-2-gcc devtoolset-2-binutils devtoolset-2-gcc-c++三个安装包会被装在 /opt/rh/devtools

CentOS 系统自带的 gcc 或者 g++ 的版本是：g++ (GCC) 4.4.6. GCC 版本太旧，导致了很多使用上的不便，如：无法使用g++ -std=c++11 命令来编译 C++11、无法使用Vim的很多插件（YouCompleteMe等）。因此，有必要对它进行升级。对 GCC 升级无法直接使用：yum update gcc以下是升级的详细过程。

背景最近需要在服务器上挂载USB拷贝一些数据，所以需要有挂载的需求，以下是记录本次调研的过程。过程首先，运行mount命令mount -t vfat /dev/sdc5 /mnt/usbhd1报以下错误 mount: wrong fs type, bad option, bad superblock on /dev/sdc5：/mnt/usbhd1 missing code

一、手工进行Major Compaction实时系统最好关闭HBase的自动Major Compaction，HBase在进行Major Compaction时会合并所有的存储文件，整个Region都不可用。HBase默认大约每天执行一次Compaction，最好把自动Compaction禁用，采用crontab在闲时触发执行。修改HBase配置：  hbase.hre

今天发现有台redis机器上出现socket个数告警，这是很奇怪的现象。因为一台redis服务器上就部署了几个redis实例，打开的端口应该是有限。1、netstat显示的tcp连接数正常netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'TIME_WAIT

SedSed是一个强大的文本处理工具可以采用正则匹配，对文本进行插入删除修改等操作Sed处理的时候，一次处理一行，每一次把当前处理的存放在临时缓冲区，处理完后输出缓冲区内容到屏幕，然后把下一行读入缓冲区，如此重复，直到结尾。1、命令格式和参数sed [-nefr] [动作] 文件参数：-n 安静模式，在sed处理的时候，所有来自STDIN的数据都会被输出到终端，

1、新加机器环境配置首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。2、上传cloudera-manager文件到/opt目录，修改agent配置文件：vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini

原文  http://professor.blog.51cto.com/996189/1725386主题 Linux在HTTP应用中，存在一个问题，SERVER由于某种原因关闭连接，如KEEPALIVE的超时，这样，作为主动关闭的SERVER一方就会进入 FIN_WAIT2状态，但TCP/IP协议栈有个问题，FIN_WAIT2状态是没有超时的（不象TIME_WAIT状态），

背景介绍  对于Linux来说，其在服务器市场的使用已经占据了绝对的霸主地位，不可动摇。Linux的各种设计思想和使用也被传承(当然不乏各种黑Linux，而且黑的漂亮)。Linux的很多独特的设计，对性能也产生了巨大的提升，也为其他应用软件和系统提供了参考。这篇文章介绍一下Linux中swap与memory。  对于memory没什么可说的就是机器的物理内存，读写速度低于cpu一个量级，但

http://blog.csdn.net/jiangshouzhuang/article/details/51290239 Kylin组织它所有的元数据(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries

众所周知_source字段存储的是索引的原始内容，那store属性的设置是为何呢？es为什么要把store的默认取值设置为no？设置为yes是否是重复的存储呢？　　我们将一个field的值写入es中，要么是想在这个field上执行search操作（不知道具体的id），要么执行retrieve操作（根据id来检索）。但是，如果不显式的将该field的store属性设置为yes，同时_source字段e

导入> hbase org.apache.hadoop.hbase.mapreduce.Driver import ${tableName} ${Location}对于目录位置，支持集群和本地集群 hdfs://master:8020/user/hbase/backup本地文件 file:///home/hbase/backup导出> hbase org.apache.hadoop.hb