2017年09月_Heavbird

转载 Mesos&Marathon实现容器部署

mesos&marathon架构说明Mesos实现了两级调度架构，它可以管理多种类型的应用程序。第一级调度是Master的守护进程，管理Mesos集群中所有节点上运行的Slave守护进程。集群由物理服务器或虚拟服务器组成，用于运行应用程序的任务，比如Hadoop和MPI作业。第二级调度由被称作Framework的“组件”组成。Framework包括调度器（Scheduler）和

2017-09-20 18:29:30 2823

转载 Ubuntu 更新错误修复大全

这两天打算安装mesos+marathon构建一简单的PaaS环境，从apache下载好mesos, marathon两个包后，无奈mesos需要不少依赖库，使用sudo apt-get install xxx 逐个安装，却遇到错误。百度了几篇文章，在解决问题的同时，也发现有一些很好很全的ubuntu上更新包时遇到的各种错误及解决办法。转至此，便于后续参考，也为大家提供个方便。前６种通常遇到

2017-09-20 08:49:18 8495 1

原创常用的Linux调优命令和工具

1. top以进程为单位动态显示各进程的CPU,memory, 调试等信息top - 16:31:25 up 21 days, 22:18, 19 users, load average: 1.44, 1.50, 1.48　 //当前时间，已运行时间，已登录用户数，1/5/15分钟的平均负载情况Tasks: 313 total, 3 running, 310 slee

2017-09-15 18:24:24 553

原创 Storm环境构建和实战

1. 准备工作下载 apache storm 包apache-storm-1.1.1并解压至/home/hadoop/bigdata工作目录，命名为storm.2. storm的架构和特点Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算

2017-09-14 20:21:59 418

原创 Flume+Kafka环境构建和实战

１.　准备工作apache上下载 apache-flume-1.7.0, apache-kafka_2.12-0.11, apache-zookeeper-3.4.9下载后分别解压至/home/hadoop/bigdata并重命名目录为flume, kafka, zk, (便于在.bashrc中export各个ＨＯＭＥ变量及后续升级)２.　配置并启动zookeeperzk配

2017-09-14 18:44:10 2478

原创启动spark-sql报错Caused by: MetaException(message:Version information not found

集群中已部署且正常使用了hadoop, hive, spark。打算启动spark-sql来访问hive数据时报错，WARN metadata.Hive: Failed to access metastore. This class should not accessed in runtime.org.apache.hadoop.hive.ql.metadata.HiveExcep

2017-09-13 10:08:09 3601

原创 spark-sql之 Caused by: MetaException(message:Version information not found in metastore. )

试着使用spark-sql访问hive表，启动后spark-sql --driver-class-path /home/hadoop/bigdata/hive/lib/mysql-connector-java.jar报如下错误：17/09/12 16:47:44 INFO metastore.ObjectStore: Initialized ObjectStore17/09/12 1

2017-09-12 17:06:02 1746

原创 beeline通过HiveServer2访问Hive的配置和操作

１.　前言作为数据仓库的工具，hive提供了两种ETL运行方式，分别是通过Hive 命令行和beeline客户端；命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客户机中需要安装JRE环境和Hive程序。beeline客户端方式相当于瘦客户端模式，采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。HiveThr

2017-09-08 14:52:11 12398

原创 Hive 1.x升级hive2.1.1全过程及与HBase的互通

１. 问题背景在构建的大数据平台上(相关组件版本Hadoop 2.8, hive 1.2.2, hbase 1.2.6) 利用hive-hbase-handler.jar实现hive和hbase的数据互通时，在hive中输入命令后总是报错，先是Cannot find class 'org.apache.hadoop.hive.bhase.HBaseStorageHandler, 通过tar

2017-09-07 20:15:06 5924

wqhlmark64的博客