程序媛_cico-CSDN博客

转载大数据平台中的hive配置项含义

关于MetaStore：metastore是个独立的关系数据库，用来持久化schema和系统元数据。hive.metastore.local：控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm，默认是true，Hive0.10已经取消了该配置项；javax.jdo.option.ConnectionURL：JDBC连接字符串，默认jdbc:derby:;databaseName=metastore_db;create=true；javax.jdo.opt..

2020-08-22 15:15:03 619 1

原创 sparkstreaming+Kafka性能优化

（一）sparkstreaming参数理解使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown （true / false）默认fasle确保在kill任务时，能够处理完最后一批数据，再关闭程序，不会发生强制kill导致数据处理中断，没处理完的数据丢失（2）spark.strea...

2019-04-10 22:18:56 3866 1

原创 Airflow调度-MysqlOperator

一个对mysql数据库表的操作的调度：这里用到了BashOperator和MySqlOperator# -*- coding: utf-8 -*-import airflowfrom airflow import DAGfrom airflow.operators.mysql_operator import MySqlOperatorfrom datetime import ti...

2019-03-21 19:02:24 2633

原创 linux的mysql离线安装

Mysql 离线安装：1.查看是否有mariadb，并卸载在Centos 7上先要卸载mariadb查看是否有mariadb，并卸载rpm -qa|grep mariadb$ rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64$ rpm -e --nodeps mariadb-devel-5.5.60-1.el7_5....

2019-03-21 15:40:19 1560

翻译 Airflow核心概念理解

1.DAGDAG是Directed Acyclic Graph的缩写，即有向无环图。是所有要执行任务脚本（即task）的集合，这个DAG描述了各个Task的依赖关系，调度时间，失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释：DAGs是一个用户希望执行的所有作业的集合，它定义了所有作业的依赖关系。例如：一个简单的包含3个任务的DAG：A,...

2019-02-24 17:40:38 1580

原创 ETL调度Airflow安装部署篇

ETL是数据分析不可缺少的一环，对于ETL的调度管理也是至关重要的。一个好的ETL调度平台应该具备以下优点：作业集成管理运行监控（WEB监控）异常警告（邮件及短信）日志可查看后台调度系统配置作业执行情况分析界面探索中发现了ETL调度平台——airflow。airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Soft...

2019-02-24 15:09:42 1288

原创利用idea创建spark工程

实际项目中，我们可以再本地调试程序，再在spark集群上运行。本文记录了win7环境下怎样创建本地spark工程，并传递给spark。1.spark环境搭建Win7 系统下用IDEA创建Spark工程，由于版本之间相互依赖，下载时要看清楚版本。Jdk:1.8.0_171Spark:2.3.0Hadoop:2.7IDEA支持的Scala工程插件Scala:2.11.8 1 Spark...

2018-07-11 20:41:03 4894

原创 TensorFlow深度学习框架搭建

与keras类似，tensorflow是一个很流行的机器学习、深度学习算法框架，开发者只需要专注于模型的设计，大大的提高了开发效率，tensorflow内置的模型丰富可以直接用于实践应用；加上自带有WEBUI监控，我们可以实时观测模型的运行状态。1 安装与测试安装环境：联网环境下win7+python3.x安装：声明：win7环境下的Tensorflow只能运行在Python 3.X...

2018-07-11 20:05:34 6180

原创 Kettle的简单使用

ORALCE与mysql建表语句转换： BI开发中中经常遇到各种数据库的导数据，操作频繁的有create建表语句，由于各种数据库的数据类型不同，若是字段特别多，手动敲建表语句也是很花费时间的。新建文件--->转换--->DB连接。建立两个连接，分别是ORACLE与mysql的连接。填写数据库连接信息。注意数据库名称为SID_NAME，并不是PL/SQL的SERVICE_NAME。 ...

2018-07-11 14:51:45 244

原创 PythonWeb_Django(1)

引言Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django是一个开放源代码的Web应用框架，由Python写成。Django采用了MVC的软件设计模式，即模型M，视图V和控制器C。Web框架参考：https://blog.csdn.net/workdsz/article/details/78093648官方：...

2018-07-07 16:05:46 1045

cico