2018年11月_mnasd

转载 Ambari Metrics 详解

Ambari 作为一个出色的集群管理软件，为第三方服务提供了丰富的功能。其中 Ambari Metrics System 为第三方服务以及集群机器提供了性能相关的监察功能。本文主要讲解 Ambari Metrics 框架的原理，以及如何集成该系统与第三方服务。Ambari 现状Ambari 最新的发行版已经到了 2.2.1 的版本，提供了更多的管理功能，例如在 2.2 的版本中支持了 Ex...

2018-11-30 15:55:23 2702

转载 Hive中desc和show create table中文注释乱码解决方案

Hive中desc和show create table中文注释乱码解决方案1.修改hive-site.xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://你的IP:3306/hive?createDatabaseIfN...

2018-11-30 00:07:15 5820

转载 python 导出hive数据表的schema

为了避免运营提出无穷无尽的查询需求，我们决定将有查询价值的数据从mysql导入hive中，让他们使用HUE这个开源工具进行查询。想必他们对表结构不甚了解，还需要为之提供一个表结构说明，于是编写了一个脚本，从hive数据库中将每张表的字段即类型查询出来，代码如下：#coding=utf-8import pyhs2from xlwt import * hiveconn = ...

2018-11-28 23:46:04 761

转载不同hadoop版本之间迁移数据存在问题， Check-sum

####场景从hadoop2.6传数据到hadoop2.7，遇到了下面问题。####报错信息Caused by: java.io.IOException: Couldn't run retriable-command: Copying webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwell/pa...

2018-11-28 23:43:51 659

转载 Hadoop distcp命令遇到的异常及解决方案

1 异常信息Caused by: java.io.IOException: Mismatch in length of source:hdfs://xxx and target:hdfs://xxx2 原因需要远程复制的文件没有关闭，还处于写的状态。3 解决方案：1）检查文件状态hdfs fsck hdfs://10.10.10.10:80/flume/xxx/xxxxxxxx...

2018-11-28 23:42:31 1493

原创 airflow task 发送邮件

import airflowfrom airflow import DAGfrom airflow.contrib.operators.databricks_operator import DatabricksSubmitRunOperatorfrom airflow.operators.email_operator import EmailOperatorfrom airflow.o...

2018-11-27 14:29:17 5343

转载 python通过get方式,post方式发送http请求和接收http响应-urllib urllib2

python通过get方式,post方式发送http请求和接收http响应--import urllib模块,urllib2模块, httplib模块 http://blog.163.com/xychenbaihu@yeah/blog/static/132229655201231085444250/ 测试用CGI,名字为test.py，放在apache的cgi-bin目录下:#...

2018-11-27 10:23:19 353

转载 airflow api

Airflow REST API PluginDescriptionA plugin for Apache Airflow that exposes REST endpoints for the Command Line Interfaces listed in the airflow documentation:http://airflow.incubator.apache.org/...

2018-11-27 10:22:27 1533

转载 Cannot obtain block length for LocatedBlock故障分析与解决

在执行hive任务的时候经常会遇到如下错误：Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-739651031-192.168.1.50-1452872943245:blk_1329315607_256707953; getBlockSize()=6604762; corrupt=fa...

2018-11-27 09:25:32 3472 2

转载蓝鲸CMDB的部署

操作系统CENTOS7蓝鲸CMDB版本：3假定服务器IP为192.168.156.72假定zookeeper-3.4.12.tar.gz,redis-3.2.11.tar.gz,mongodb-linux-x86_64-rhel70-2.8.0-rc5.gz,cmdb.tar.gz都存入于/shared/app下载地址：https://mirrors.tuna.tsinghua...

2018-11-25 20:04:33 1052

转载 CentOS7 通过YUM安装MySQL5.7

1.进入到要存放安装包的位置cd /home/lnmp 2.查看系统中是否已安装 MySQL 服务，以下提供两种方式：rpm -qa | grep mysqlyum list installed | grep mysql 3.如果已安装则删除 MySQL 及其依赖的包：yum -y remove mysql-libs.x86_64 4.下载 mysql...

2018-11-25 19:54:39 94

转载 Linux环境下安装配置Node.js

1、在官网查看版本，LTS代表长期支持的版本2、进入服务器3、输入命令：·wget https://npm.taobao.org/mirrors/node/v8.9.3/node-v8.9.3-linux-x64.tar.xz ·xz -d node-v8.9.3-linux-x64.tar.xz 或者 tar -xzvf node...

2018-11-25 19:36:35 106

转载轻量级BI工具Superset的搭建与使用

系统环境：Windows 10Python：3.6.6Superset：0.27.00 Superset 简介 Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3，而后...

2018-11-18 22:30:03 1200

转载 Airflow1.8 分布式工作流平台搭建

版本信息： python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错， [root@localhost ~]# python2 create_user.py [2018-07-18 18:51:09,336] ...

2018-11-18 22:28:49 1152

转载 centos 7 mariadb安装

1、安装MariaDB安装命令yum -y install mariadb mariadb-server安装完成MariaDB，首先启动MariaDBsystemctl start mariadb设置开机启动systemctl enable mariadb接下来进行MariaDB的相关简单配置mysql_secure_installation首先是设置密...

2018-11-17 18:44:22 517

转载 AirFlow使用第一个DAG示例

1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/备注Airflow附带了许多示例DAG。请注意，在你自己的`dags_folder`中至少有一个DAG定义文件之前，这些示例可能无法正常工作...

2018-11-17 17:24:33 3173

转载 Airflow 1.10安装

前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10Python == 3.6.5Mysql == 5.7Python安装略详见：Python3安装(Linux环境)安装mysql略详见：http://note.youdao.com/noteshare?i...

2018-11-17 17:08:10 3864 1

mnasd的博客