自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

理解Flink中的状态实现

state的层次结构 keyedState => windowState OperatorState => kafkaOffset stateBackend snapshot/restore internalTimerService RocksDB操作的初探...

2019-08-22 14:45:39

阅读数 27

评论数 0

Flink 的checkpoint 基于Chandy-lamport算法

CheckPoint 基于Chandy-Lamport算法, 实现了分布式一致性快照,提供了 一致性的语义。 Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snaps...

2019-08-22 14:28:09

阅读数 19

评论数 0

工作感悟 - 术

1. 做事情之前,多沟通,多问,多反馈,不要想当然,不要想当然,不要想当然。自己认为的不一定符合客户或老板要求。 2. 上周做个数据导入,利用Kittle,数据插入/更新 控件,那知道把生产机器CPU搞到100%, 惭愧惭愧,后来又 利用数据全量更新, 但是生产是流式的,不能中断做更新, 后来又...

2019-08-22 06:59:35

阅读数 8

评论数 1

【git】强制覆盖本地代码(与git远程仓库保持一致)

git强制覆盖: git fetch --all git reset --hard origin/master git pull git强制覆盖本地命令(单条执行): git fetch --all &&git reset --hard origin/master ...

2019-08-01 18:39:25

阅读数 29

评论数 0

sqoop 从mysql oracle 数据库导入数据 到 hive

定时 增量 导入数据 sqoop job --create sqoop_job_incremental -- import --connect jdbc:mysql://192.168.1.87:3306/world --username root --password 123456 --tab...

2019-04-25 19:43:36

阅读数 41

评论数 0

Sqoop报错accumulo does not exist

Warning: /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCU...

2019-04-18 10:42:04

阅读数 166

评论数 0

postgresql时区问题,系统时间和pg时间不一致

1、问题描述: 昨天开发同事遇到一个时间转换的问题提交到测试环境发现pg的时间和系统的时间不一致,相差十多个小时时区不一致,在此简单记录一下 2、查系统时间pg时间发现不一致 #date pg上查询: selectnow(); show time zone; US/Pacific 在设...

2019-03-12 17:42:04

阅读数 222

评论数 0

Postgresql数据类型之UUID

1.UUID概述 数据类型uuid存储由RFC 4122、ISO/IEC 9834-8:2005以及相关标准定义的通用唯一标识符(UUID)(某些系统将这种数据类型引用为全局唯一标识符GUID)。 这种标识符是一个128位的量,它由一个精心选择的算法产生,该算法能保证在已知空间中任何其他使用相...

2019-03-08 16:43:28

阅读数 69

评论数 0

PostgreSql 使用自定义序列(Sequence)向表插入数据 id 自增长

按照以往Oracle建表的流程,我们来新建表,并且向表中导入数据。 1.创建Book表 CREATE TABLE book( id INTEGER PRIMARY KEY , name CHARACTER VARYING(50), price DOUBLE PRECISION, auth...

2019-03-06 14:00:26

阅读数 323

评论数 0

hadoop测试实战

1.运行MapReduce hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input/test1.txt /mrout 2 . 测试 spa...

2019-03-04 14:50:46

阅读数 15

评论数 0

hadoop 问题汇总

cdh hiveMetaException(message:Version information not found in metastore 修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false 即可解决 ...

2019-02-28 10:34:34

阅读数 42

评论数 0

ssh: connect to host hadoop000 port 22: Connection timed out

报错如下: [hadoop@hadoop000 sbin]$ ./start-dfs.sh 18/01/24 22:46:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....

2019-02-18 17:39:58

阅读数 126

评论数 0

ORA-01940 删除当前已连接用户, 导入新数据

1)查看用户的连接状况 select username,sid,serial# from v$session ------------------------------------------ 如下结果:   username          sid                s...

2018-11-22 17:24:13

阅读数 89

评论数 0

归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)

1 概念   归一化:1)把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲...

2018-10-09 18:08:05

阅读数 1177

评论数 0

python 生成exe 遇到no module named "typedefs"

pyinstaller的命令如下 pyinstaller -F forecast.py 遇到了no module named typedefs 这个问题解决的时候需要在刚才的命令后面加  --hidden-import sklearn.neighbors.typedefs   将含有p...

2018-09-27 15:30:34

阅读数 1112

评论数 2

pandas取出表中一列数据所有的值并转换为array类型

# -*-coding: utf-8 -*- import pandas as pd #读取csv文件 df=pd.read_csv('A_2+20+DoW+VC.csv') #求‘ave_time’的平均值 aveTime=df['ave_time'].mean() #把ave_time这列的缺...

2018-09-14 09:15:35

阅读数 3070

评论数 0

安装jdk后出现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录

安装过程没有出什么问题,但是配置完环境变量后用java -version测试出现 “bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录”的问题“,于是到网上搜了下, 用sudo yum install glibc.i...

2017-11-29 09:22:39

阅读数 180

评论数 0

It's possible your PC or network is sending automatic requests. To continue, please enter following

朋友网站打开时为何提示要输入验证码后才能访问,经过分析原来是防火墙里 深度学习 设置造成的。 网站打开时为何提示要输入验证码后才能访问? 取消 深度学习,或者 把学习时间设置较长即可。弹出框消失。

2017-11-24 17:30:30

阅读数 457

评论数 0

TensorFlow使用的一个小案例

#导入依赖库 import numpy as np #这是Python的一种开源的数值计算扩展,非常强大 import tensorflow as tf #导入tensorflow ##构造数据## x_data=np.random.rand(100).astype...

2017-11-09 09:54:40

阅读数 142

评论数 0

tensorflow 解决SyntaxError: invalid syntax

File "", line 6 print sess.run(hello) ^ SyntaxError: invalid syntax 这个报错是因为python3中print变成了一个方法,需要带括号当参数传入值。 print(sess...

2017-11-09 09:40:15

阅读数 7071

评论数 0

提示
确定要删除当前文章?
取消 删除