易水寒

什么是大数据。

为更好的配合公司自然人项目的实施，我利用虚机搭了一个测试环境，把生产库中的部分表的数据通过ogg软件同步给kafka1 测试环境说明1）目标源数据库hr用户下的一张表t1,当发生dml操作时，操作数据写到kafka集群里，并显示出来。2）环境构成192.168.60.88 tdb1192.168.60.89 reps192.168.60.91 kafka0119

Linux创建用户后，切换用户报This account is currently not availablea. 增加用户&设定密码# useradd nagios# passwd nagios   输入密码；切换用户出现：[root@localhost ~]# su - nagiosThis account is currently

文件系统检查点已有 1 天，14 小时，36 分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 14,632 个事务。 2个可能； 1 ， namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/curr

作者：刘旭晖 Raymond 转载请注明出处　　原文： http://blog.csdn.net/colorant/article/details/50803226?utm_source=tuicool&utm_medium=referral　　## == 是什么 ==　　Kudu 是 Todd Lipcon @ Cloudera 带头开发的存储系统，其整体应用模式和HBa

Kudu 是 Cloudera 开源的新型列式存储系统，是 Apache Hadoop 生态圈的新成员之一（ incubating ），专门为了对快速变化的数据进行快速的分析，填补了以往 Hadoop 存储层的空缺。本文主要对 Kudu 的动机、背景，以及架构进行简单介绍。背景——功能上的空白        Hadoop 生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用

为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+---------------------+| @@log_error |+---

原文链接：http://blog.csdn.net/xyang81/article/details/51759200安装环境：CentOS7 64位，MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http:/

linux中文件颜色，蓝色，白色等各自代表的含义 绿色文件---------- 可执行文件，可执行的程序  红色文件-----------压缩文件或者包文件 蓝色文件----------目录  www.2cto.com   白色文件----------一般性文件，如文本文件，配置文件，源码文件等  浅蓝色文件-----

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores

elasticsearch 5.0 安装过程中遇到了一些问题，通过查找资料几乎都解决掉了，这里简单记录一下 ，供以后查阅参考，也希望可以帮助遇到同样问题的你。问题一：警告提示[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.Unsupported

在Maven项目中使用本地JAR包有两种方法：1. 使用system scope org.richard my-jar 1.0 system ${project.basedir}/lib/my-jar.jar 缺点：ystem scope引入的包，在使用jar-with-

windows下安装VisualSVN-Server-2.7.7默认安装完成之后权限是默认使用本地svn验证的，也就是所有的用户名 密码都需要手动建立，如果是在域环境下就非常不方便了，下面就是添加域认证方法，右键——选择“properties”——选择“authentication”。设置成功之后本地的Users Guours

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1> Kafka -> Flume –> Hadoop Hdfs常用方案,基于配置,需要注意hdfs小文件性能等问题.GitHub地址:  https://github.com/apache/f

概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka

在hive中提供了一种“严格模式”的设置来阻止用户执行可能会带来未知不好影响的查询。 设置属性hive.mapred.mode 为strict能够阻止以下三种类型的查询：1、  除非在where语段中包含了分区过滤，否则不能查询分区了的表。这是因为分区表通常保存的数据量都比较大，没有限定分区查询会扫描所有分区，耗费很多资源。Table:  logs(…) parti

描述lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。 例子假设我们有一张表pageAds，它有两列数据，第一列

Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败

1.背景      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程

近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDEA来构建Spark开发环境； 1.  安装JDK2.  安装IDEA最新版，目前