- 博客(24)
- 收藏
- 关注
RSS订阅转载 Hadoop： CDH 5--不同步的 JournalNode
Hadoop： CDH 5--不同步的 JournalNodeAuthor: Fucloudera manager出现了hdfs的警告，类似下图： 解决的思路是：1、首先解决简单的问题，查看警告提示的设置的阀值时多少，这样就可以快速定位到问题在哪了，果然JournalNode Sync Status提示最先消去；2、然后解决Sync Status问题，首先找到提示语
2016-09-15 18:40:09
5972
2
转载 Kafka性能测试方法及Benchmark报告
本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的
2016-09-15 18:34:52
2181
转载 Apache Kylin 大数据时代的OLAP利器
Apache Kylin 大数据时代的OLAP利器January 4th, 2016hu weiLeave a commentGo to comments1. OLAP简介 OLAP的历史与基本概念 OLAP全称为在线联机分析应用，是一种对于多维数据分析查询的解决方案。典型的OLAP应用场景包括销售、市场、管理等商务报表，预算决算，经济报表等等。最早的OLAP查询工
2016-09-15 18:33:38
1457
原创 迁移Cloudera Manager Server
参考 Moving the Cloudera Manager Server to a New HostDatabase Backing up and Restore根据官方的参考文档，如果在另外一个节点上新建一个供Cloudera Manager使用的数据库，需要把原来的数据库的内容进行back up，然后在新的数据库中进行restore。然而，怎样restore，确实语焉
2016-09-15 18:32:48
2180
转载 麦肯锡告诉你：究竟是什么决定了你的职场上限？
毕业5年，我的月薪从1900到现在50000。我不认为你的薪水、职场上限跟你有没有读MBA，喜不喜欢加班有关。真正的职场上限，往往取决于你有没有强大的逻辑思考能力。工作中有一个高效的逻辑思维能力无比重要。它能立刻让你找到问题的关键，让问题引刃而解。逻辑思维的过程，是化繁为简，目的，是找到解决方法。因此，所有和“寻求解决方法”无关的信息，都是无用信息，
2016-09-05 11:26:45
769
转载 cloudera manager下的hive权限配置
公司运营、BI以及财务不同部门不同人员需要hive数据查询服务，所以需要分配不同的权限给相关人员权限配置主要涉及两项：- 认证(authentication)：验证用户所用的身份是否是对的- 授权(authorization)：验证用户所用身份操作是否有权限cloudera集成的hive认证支持常用的LDAP和kerberos，授权使用的是他自家的sentry，sentry目前还处
2016-09-05 11:11:06
1703
转载 Hive 权限控制
Hive 权限控制字数1135 阅读551 评论0 喜欢0说明认证(authentication)：验证用户所用的身份是否是对的授权(authorization)：验证用户所用身份操作是否有权限目前hive（版本0.12.0）支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，
2016-09-05 11:09:41
1579
转载 MySQL双主热备问题处理
1. Slave_IO_Running: Nomysql> show slave status\G*************************** 1. row *************************** Slave_IO_State: Master_Host: 192.16.10.21
2016-09-05 11:08:55
857
转载 浅谈工作流调度系统
每个公司都有自己的一套或者多套调度系统，从简单到复杂，满足各种定制化的需求。Crontab任务调度在没有工作流调度系统之前，公司里面的任务都是通过crontab来定义的，时间长了后会发现很多问题：大量的crontab任务需要管理任务没有按时执行，各种原因失败，需要重试多服务器环境下，crontab分散在很多集群上，光是查看log就很花时间于是，出现了一些管理crontab任务的
2016-09-05 11:07:30
7572
转载 Sqoop使用分析
Sqoop的Mysql数据导出实现分两种，一种是使用JDBC方式从Mysql中获取数据，一种是使用MysqlDump命令从MySql中获取数据，默认是 JDBC方式获取数据，如果要使用dump方式获取数据，需要添加 -direct 参数。先说第一种：配置语句时，需要添加 $CONDITIONS 点位符，比如：SELECT id FROM user WHERE $CONDITIONS，S
2016-09-05 11:04:33
2653
转载 sqoop导数类型不支持解决方法：Hive does not support the SQL type for column
sqoop导数类型不支持解决办法：Hive does not support the SQL type for columnsqoop导数从oracle到hive中，遇到RAW等类型时，会报错：013-09-17 19:33:12,184 ERROR org.apache.sqoop.tool.ImportTool: Encountered IOException running
2016-09-05 11:03:42
2968
转载 spark调整日志显示级别
摘要在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。主要问题调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties，默认级别是INFO，如果曾经将其改为DEBUG的朋友可能会有
2016-09-05 11:01:35
2190
转载 Spark Streaming createDirectStream保存kafka offset(JAVA实现)
问题描述（http://blog.csdn.net/xueba207/article/details/50381821）最近使用spark streaming处理kafka的数据，业务数据量比较大，就使用了kafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是spa
2016-09-05 11:00:45
2392
2
转载 Spark history Server 配置过程
Author: FuSpark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录；
2016-09-05 10:53:06
957
转载 Kafka性能测试方法及Benchmark报告
Author: Fu摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设计解析（三）- Kafka High Availability （
2016-09-05 10:49:47
1502
转载 Kafka深度解析
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线
2016-09-05 10:43:07
638
转载 Java 多线程面试
0、Java中多线程同步是什么？在多线程程序下，同步能控制对共享资源的访问。如果没有同步，当一个Java线程在修改一个共享变量时，另外一个线程正在使用或者更新同一个变量，这样容易导致程序出现错误的结果。 1、解释实现多线程的几种方法?一Java线程可以实现Runnable接口或者继承Thread类来实现，当你打算多重继承时，优先选择实现Runnable。 2、Thread.
2016-09-05 10:40:55
347
转载 50道Java线程面试题
50道Java线程面试题下面是Java线程相关的热门面试题，你可以用它来好好准备面试。1) 什么是线程？线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。程序员可以通过它进行多处理器编程，你可以使用多线程对 运算密集型任务提速。比如，如果一个线程完成一个任务要100毫秒，那么用十个线程完成改任务只需10毫秒。Java在语言层面对多线程提供了卓越的支
2016-09-05 10:39:47
323
转载 [Hadoop源码详解]之一MapReduce篇之InputFormat
1. 概述我们在设置MapReduce输入格式的时候，会调用这样一条语句：job.setInputFormatClass(KeyValueTextInputFormat.class);这条语句保证了输入文件会按照我们预设的格式被读取。KeyValueTextInputFormat即为我们设定的数据读取格式。所有的输入格式类都继承自In
2016-09-05 10:38:45
635
转载 HBase － 数据写入流程解析
HBase － 数据写入流程解析众所周知，HBase默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松 地支撑每天10T的写入量。当然，为了支持更高吞吐量的写入，HBase还在不断地进行优化和修正，这篇文章结合0.98版本的源码全面地分析HBase 的写入流程，全文分为三个部分，第一部分介绍客户端的写入流程，第二部分介绍服务器端的写入流程，最后再重
2016-09-05 10:37:37
1547
转载 MapReduce作业运行流程
MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业
2016-09-05 10:34:59
1827
转载 升级CDH到5.7.0
升级CDH到5.7.0最近对CDH进行升级，从5.4.8升级到5.7.0，主要想升级spark和hbase。What’s New In CDH 5.7.x详细信息参考What’s New In CDH 5.7.x操作系统支持 RHEL/CentOS 6.6, 6.7, 7.1, 7.2JDK版本必须1.7或以上。Spark升级到1.6.0，支持hive on spark
2016-09-05 10:33:56
2722
转载 基于SSL密码认证部署ELK(Elasticsearch+Logstash+kibana)-Centos6.5
1 简介本章我们来介绍Centos6.5基于SSL密码认证部署ELK(Elasticsearch 1.4.4+Logstash 1.4.2+kibana3),同时为大家介绍如何集合如上组件来收集日志,本章的日志收集主要为大家介绍SYSTEM日志收集.集中化日志收集主要应用场景是在同一个窗口临时性或永久性鉴定分析系统,应用等各类日志,对用户提供极大便利,同时也为用户提供一定自主性
2016-09-05 10:32:20
2929
转载 SED单行脚本快速参考（Unix 流编辑器）
-------------------------------------------------------------------------SED单行脚本快速参考（Unix 流编辑器） 2005年12月29日文本间隔：-------- # 在每一行后面增加一空行 sed G # 将原来的所有空行删除并在每一行后面增加一空行。
2016-09-05 10:30:06
482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人