datax定时同步在doker中自动化部署

一、Dockerfile文件编写 (1)这是一个Dockerfile的例子,我在这里用的是ubuntu 16: #基础镜像 FROM ubuntu:16.04 #安装必要的安装包,我这里用的是datax解压的版本,不需要maven,这里依赖环境python、jdk8、cron、rsyslo...

2019-01-23 20:48:18

阅读数 129

评论数 0

使用datax进行数据同步

1.datax简介 datax简介在这篇博客中https://blog.csdn.net/a870542373/article/details/86474585 2.datax下载 datax下载地址:https://github.com/alibaba/DataX 钉钉用户可以加群: ...

2019-01-14 17:57:43

阅读数 1313

评论数 1

IDEA代码快捷键

一键格式化代碼:Ctrl+Alt+L 全局搜索替换:ctrl+shift+r 强大的搜索功能,shift+shift (无论您想要搜啥都能找到) ctrl+shift+R==搜索类 CTRL+N:按照类名搜索类 【常规】 Ctrl+Shift + Enter,语句完成 “!”,...

2019-04-25 16:14:22

阅读数 36

评论数 0

数据库结构对比工具

Database Compare支持Mysql、Sql server、SQLite支持相关结构对比,关键是免费的工具~~~~ 所以必须get一下。 下面是官网的截图: 1.下载地址 官网下载地址:ampnmp.com/database-compare/ 百度云盘下载地址:https:...

2019-02-18 10:29:28

阅读数 302

评论数 0

docker使用笔记(创建镜像运行)

一、编写Docerfile文件 (1)首先创建一个docker文件夹   mkdir docker   cd docker (2)编写Dockerfile文件   vim Dockerfile 我这个是使用来datax进行数据同步的 (1)基础镜像这里是 FROM ubuntu:1...

2019-01-22 10:13:17

阅读数 65

评论数 0

Datax介绍

1.datax简介         DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询...

2019-01-14 16:02:39

阅读数 1228

评论数 0

java中的反射机制

一、什么是反射        在运行状态中,对于任意一个类,都能够获取到这个类的所有属性和方法,对于任意一个对象,都能够调用它的任意一个方法和属性(包括私有的方法和属性),这种动态获取的信息以及动态调用对象的方法的功能就称为java语言的反射机制。通俗点讲,通过反射,该类对我们来说是完全透明的,...

2018-11-20 00:30:04

阅读数 23

评论数 0

微服务架构

一、单体结构 1. 什么是单体架构 一个归档包(例如war格式)包含了应用所有功能的应用程序,我们通常称之为单体应用。架构单体应用的方法论,我们称之为单体应用架构。 2. 单体架构示例图 3. 单体架构的缺陷 (1)复杂性高。整个项目包含的模块非常多,模块的边界模糊,依赖关系不清晰,...

2018-11-18 21:59:00

阅读数 713

评论数 0

下载系统,微软相关软件

https://msdn.itellyou.cn/ 这上面都有,只不过是适用版~~~

2018-08-05 09:52:41

阅读数 104

评论数 0

mnist中遇到的问题

一、TypeError: object of type ‘zip’ has no len()TypeError: ‘zip’ object is not subscriptable解决办法:将:training_data = zip(training_inputs, training_result...

2018-07-09 22:39:27

阅读数 526

评论数 0

scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to

一、遇到的问题:DEBUG: Filtered offsite request to 'www.99yiyuan.com': <GET http://www.99yiy。。。二、解决方法:设置setting.py文件SPIDER_MIDDLEWARES = {    'scr...

2018-06-03 18:33:24

阅读数 573

评论数 0

Tensorflow学习笔记(第四天)—递归神经网络

一、首先下载来源于 Tomas Mikolov 网站上的 PTB 数据集http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz二、需要的代码:这里只简单的放了一些代码,具体解释可以看官方文档。还有这篇文章我觉得不错:https://b...

2018-04-19 21:57:06

阅读数 465

评论数 0

Tensorflow学习笔记(第三天)—卷积神经网络

     对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题,其任务是对一组大小为32x32的RGB图像进行分类,这些图像涵盖了10个类别:飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船以及卡车。一、cifar10.py代码:# Copyright 2015 Google...

2018-04-18 10:59:39

阅读数 324

评论数 1

Tensorflow学习笔记(第二天)-TensorFlow运作方式入门

    这部分教程直接给出了源码,以为会很快的跑起来,没想到遇到了许多问题。第一个错误:    直接运行给出的实例代码fully_connected_feed.pyNotFoundError: Failed to create a directory: /tmp\tensorflow; No su...

2018-04-16 13:01:49

阅读数 1272

评论数 5

tensorflow学习笔记(第一天)-深度卷积神经网络

一、在这里首先需要了解一些概念性的东西,当然我是才接触,还不太熟悉:1.numpy     NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(m...

2018-04-13 21:01:46

阅读数 749

评论数 1

tensorflow学习笔记(第一天)-MNIST机器学习入门

MNIST机器学习入门这个是关于tensorflow的中文文档:http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.htmlMNIST是一个入门级的计算机视觉数据集,这个就相当于编程语言中的&...

2018-04-13 16:45:17

阅读数 180

评论数 0

编程输入一行文字,找出其中的大写字母,小写字母个数

#include void main() { int a=0,b=0; char *p,s[20]; while((s[i]=getchar())!='\n')i++; p=s; while(*p!=10) { if(*p>='A'&&*p...

2015-12-27 15:31:07

阅读数 1969

评论数 0

编程输入一行文字,找出其中的大写字母,小写字母个数

#include void main() { int a=0,b=0; char *p,s[20]; while((s[i]=getchar())!='\n')i++; p=s; while(*p!=10) { if(*p>='A'&&*p...

2015-12-27 15:30:27

阅读数 711

评论数 0

编写一个使用指针的c函数,交换数组a和数组b中的对应元素

#include #include   void ex(int *a, int *b, int n){ int i,tmp; for (i=0;i tmp=a[i];a[i]=b[i];b[i]=tmp; } } void main() { int x[5]={1,2,3,4...

2015-12-27 15:29:04

阅读数 2855

评论数 0

设有一数列,包含10 个数,已按升序排好。

设有一数列,包含10 个数,已按升序排好。现要求编一程序,它能够把从指定位置开始的n个数按逆序重新排列并输出新的完整数列。进行逆序处理时要求使用指针方法(例如:原数列为2,4,6,8,10,12,14,16,18,20,若要求把从第4个数开始的5个数按逆序重新排列,则得到新数列为2,4,6,16...

2015-12-27 15:28:10

阅读数 1072

评论数 0

提示
确定要删除当前文章?
取消 删除