Hive
if 0 = -I can
那年我们还有梦
关于文学
关于爱情
关于穿越世界的旅行
如今我们深夜痛饮
杯子碰到一起
都是梦破碎的声音
展开
-
基于 Scribe 的 Python 日志处理 METL 系统
目录一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源(NGINX)机器 Scribe cient3、日志汇聚(SCRIBE)机器 Scribe service4、Python 日志处理 METL 系统二、METL❓1、系统支持2、部署安装3、在 HIGO 的使用4、异常情况处理一、新日志收集系统1、一图了解 HIGO 新的日志收集系统2、日志源(NGINX)机器 Scribe cient服务器 服务 ...原创 2020-05-19 10:51:22 · 369 阅读 · 0 评论 -
基于 Flume 的 Python 日志处理 METL 系统
一、Flume 日志收集系统1、一图了解 HIGO 新日志收集系统2、Flume 日志汇聚(Flume NG 之 HIGO 实际应用方案)Agent Hostname IP User Path Log Topic Agent00 yz-sre-wannx00.lehe.com 10.20.201.242 flume /home/flume/flumeng/ /usr/local/openresty/ng...原创 2020-06-03 18:30:45 · 590 阅读 · 0 评论 -
Hive 存储文件误删除之生成环境解决方案
目录写在最前:1、Hive 与 HDFS 之间的关系2、Hive 与关系型数据库的区别一、通过 HDFS 的垃圾回收站恢复二、通过快照恢复1、允许快照2、创建快照:3、删除快照4、重命名快照5、获取可快照的目录信息6、获取快照差异报告7、结果8、使用案例三、通过源数据恢复到 Hive1、Hive 数据来源分析2、日志数据恢复3、业务数据恢复4、中间层数据恢复5、商家端及其它 BI 数据恢复写在最前:1、Hive 与 H...原创 2020-05-20 12:40:45 · 558 阅读 · 0 评论 -
SQOOP 从 MySQL 导入到 Hive 之 Python 脚本
1、当前业务数据收集详情当前的业务数据收集是使用的 sqoop + python 的管理脚本实现的 部署在 sqoop@yz-bi-web01.lehe.com:/home/sqoop/sqoop上 脚本是通过 crontab 定期启动的 核心脚本 /home/sqoop/sqoop/bin/sqoop_import.py 将任务分为了天级和小时级两种,通过 crontab 定期调用 /home/sqoop/sqoop/bin/sqoop_import_hour.sh和/home/sqoop/s.原创 2020-05-20 11:16:16 · 462 阅读 · 0 评论 -
SQOOP 部署及导入数据到 Hive 的实际应用
写在最前: sqoop 是 hive、hdfs、hbase 等与 RDMBS(mysql 等)之间的沟通桥梁,主要通过 JDBC 与 RDMBS 进行交互。有两个版本sqoop1 和 sqoop2,sqoop1 架构简单,使用非常方便(由于我使用的是 sqoop1,所以本文主要介绍 sqoop1),sqoop2 是 c/s 架构,需要一个 tomcat 部署 server 端,并且提供了更多的访问方式:REST API、WEBUI、CLI、JAVA API 等,并且提供了更安全的访问...原创 2020-05-20 11:06:12 · 1392 阅读 · 0 评论 -
SQOOP 通过 MyCat 从 MySQL 导入数据到 Hive
目录1. hadoop、hive、sqoop、MySQL、MyCat安装(略)2. 把MySQL Java链接器的jar文件拷贝到sqoop的lib目录下3. 测试(必须在sqoop用户下)4. 注意5. SQOOP从MySQL导入数据到Hive脚本树形图6. 计划任务脚本(bim_mysql_hive_wf.sh)7. 邮件告警(已接入h...原创 2019-03-28 20:42:01 · 950 阅读 · 0 评论