- 博客(10)
- 收藏
- 关注
转载 大数据平台中的hive配置项含义
关于MetaStore:metastore是个独立的关系数据库,用来持久化schema和系统元数据。hive.metastore.local:控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm,默认是true,Hive0.10已经取消了该配置项;javax.jdo.option.ConnectionURL:JDBC连接字符串,默认jdbc:derby:;databaseName=metastore_db;create=true;javax.jdo.opt..
2020-08-22 15:15:03
656
1
原创 sparkstreaming+Kafka性能优化
(一)sparkstreaming参数理解使用SparkStreaming集成kafka时有几个比较重要的参数:(1)spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失(2)spark.strea...
2019-04-10 22:18:56
3908
1
原创 Airflow调度-MysqlOperator
一个对mysql数据库表的操作的调度:这里用到了BashOperator和MySqlOperator# -*- coding: utf-8 -*-import airflowfrom airflow import DAGfrom airflow.operators.mysql_operator import MySqlOperatorfrom datetime import ti...
2019-03-21 19:02:24
2658
原创 linux的mysql离线安装
Mysql 离线安装:1.查看是否有mariadb,并卸载在Centos 7上先要卸载mariadb查看是否有mariadb,并卸载rpm -qa|grep mariadb$ rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64$ rpm -e --nodeps mariadb-devel-5.5.60-1.el7_5....
2019-03-21 15:40:19
1593
翻译 Airflow核心概念理解
1.DAGDAG是Directed Acyclic Graph的缩写,即有向无环图。是所有要执行任务脚本(即task)的集合,这个DAG描述了各个Task的依赖关系,调度时间,失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释:DAGs是一个用户希望执行的所有作业的集合,它定义了所有作业的依赖关系。例如:一个简单的包含3个任务的DAG:A,...
2019-02-24 17:40:38
1607
原创 ETL调度Airflow安装部署篇
ETL是数据分析不可缺少的一环,对于ETL的调度管理也是至关重要的。一个好的ETL调度平台应该具备以下优点:作业集成管理 运行监控(WEB监控) 异常警告(邮件及短信) 日志可查看 后台调度 系统配置 作业执行情况分析界面探索中发现了ETL调度平台——airflow。airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Soft...
2019-02-24 15:09:42
1306
原创 利用idea创建spark工程
实际项目中,我们可以再本地调试程序,再在spark集群上运行。本文记录了win7环境下怎样创建本地spark工程,并传递给spark。1.spark环境搭建Win7 系统下用IDEA创建Spark工程,由于版本之间相互依赖,下载时要看清楚版本。Jdk:1.8.0_171Spark:2.3.0Hadoop:2.7IDEA支持的Scala工程插件Scala:2.11.8 1 Spark...
2018-07-11 20:41:03
4900
原创 TensorFlow深度学习框架搭建
与keras类似,tensorflow是一个很流行的机器学习、深度学习算法框架,开发者只需要专注于模型的设计,大大的提高了开发效率,tensorflow内置的模型丰富可以直接用于实践应用;加上自带有WEBUI监控,我们可以实时观测模型的运行状态。1 安装与测试安装环境:联网环境下win7+python3.x安装:声明:win7环境下的Tensorflow只能运行在Python 3.X...
2018-07-11 20:05:34
6206
原创 Kettle的简单使用
ORALCE与mysql建表语句转换: BI开发中中经常遇到各种数据库的导数据,操作频繁的有create建表语句,由于各种数据库的数据类型不同,若是字段特别多,手动敲建表语句也是很花费时间的。 新建文件--->转换--->DB连接。建立两个连接,分别是ORACLE与mysql的连接。 填写数据库连接信息。注意数据库名称为SID_NAME,并不是PL/SQL的SERVICE_NAME。 ...
2018-07-11 14:51:45
257
原创 PythonWeb_Django(1)
引言Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django是一个开放源代码的Web应用框架,由Python写成。Django采用了MVC的软件设计模式,即模型M,视图V和控制器C。Web框架 参考:https://blog.csdn.net/workdsz/article/details/78093648官方:...
2018-07-07 16:05:46
1050
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人