大数据
xuyingzhong
大数据hadoop flink storm相关开发,干一行爱
展开
-
数仓建设过程中DB层增量到ODS层情况解析
to_date(days_sub(NOW(), 1)) 前一天日期背景:每5个小时抽取一次oracle里面6个小时内的数据到DB层,抽完之后,将数据增量到ODS层DB层是textfile文件表,ODS层是parquet按天dt分区的表,每个dt里面存的是增量数据,总ODS层表示一份全量数据增量过程中有两种情况,能生成唯一键和没有唯一键的情况1、对于有唯一键的数据我们...原创 2019-08-07 11:17:36 · 1130 阅读 · 0 评论 -
在CDH集群安装Flink
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 ...原创 2019-08-22 17:25:24 · 2162 阅读 · 0 评论 -
flink 源码编译 异常处理
跳过测试、qa插件和javadoc以加速构建,默认会吧hadoop2 的支持编译:mvn clean install -Dmaven.test.skip=true -Dfast错误一:错误二:手动安装缺失的包到本地仓库错误三:错误4:错误5:...原创 2019-03-20 11:55:17 · 1051 阅读 · 0 评论 -
impala c3p0 nginx 连接池 负载均衡
首先配置spring中配置c3p0 <!-- c3p0配置nginx,nginx随机连接hadoop4/hadoop5/hadoop8/hadoop9/hadoop10 --> <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="cl...原创 2019-03-26 10:53:00 · 467 阅读 · 0 评论 -
工作小记录
linux 无法进入vi /etc/profile在命令行终端执行:export PATH=/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin原创 2019-03-28 15:38:29 · 80 阅读 · 0 评论 -
解决方案直接强制更新软连接:
linux 无法进入vi /etc/profile在命令行终端执行:export PATH=/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin今日cdh集群搭建,原先这些服务器有一个集群,删除了,这次重新建一个新的版本cdh集群,结果输入hadoop,无法识别报错command not foundcdh集...原创 2019-03-28 16:50:00 · 3764 阅读 · 0 评论 -
ssh配置免密码登录
1.Hadoop中为什么要配置免密码登录最近在学习Hadoop,在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作。例如,某个脚本能够终止并重启集群中的所有守护进程。所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录。2.环境Hado...转载 2019-04-03 19:08:56 · 12143 阅读 · 1 评论 -
com.cloudwise.toushibao包找不到 模拟数据生成器
original-simulatedata-generator-0.0.1.jarsimulatedata-generator-0.0.1.jar<dependency> <groupId>com.cloudwise.toushibao</groupId> <artifactId>simulatedata-genera...原创 2019-04-16 14:09:00 · 1299 阅读 · 0 评论 -
Elasticsearch查询优化方案
资料来源:http://developer.51cto.com/art/201903/593835.htm?mobile1、集群规划 Nodes 之间做读取分离 Master 的配置:这样 Master 不参与 I、O,从数据的搜索和索引操作中解脱出来,专门负责集群的管理工作 node.master: true node.data: fals...原创 2019-04-17 14:00:10 · 1119 阅读 · 0 评论 -
hadoop跨集群之间迁移HDFS数据
Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/-skipcrccheck 因本次迁移...转载 2019-05-05 17:31:42 · 933 阅读 · 0 评论 -
hue解决下载10万行的限制
二、问题原因:Hue默认配置原因,默认现在行数为10万行,列数为100列注意:应该以hue管理员账户登录,否则看不到配置 三、解决方案:修改hue所在机器的默认配置后,重启hue即可[root@cdh-001 ~]# find / -name beeswax 查找配置文件所在路径,选择src那个路径vi /opt/cloudera/pa...转载 2019-05-31 16:26:05 · 646 阅读 · 0 评论 -
本地eclipse执行代码 hdfs数据写入elasticsearch中报错
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V at org.apache.hadoop.io.nativeio.NativeIO$W...原创 2019-07-05 11:01:40 · 172 阅读 · 0 评论 -
flink知识笔记
windows类型count Windowstime window: tumbling window (翻滚窗口,无重叠) sliding window(滑动窗口,有重叠) session window (类型与web编程里的session,以不活动间隙作为分隔)各种Time event time (事件产生事件) ingestion time(摄取事件,e...原创 2019-03-15 13:00:45 · 191 阅读 · 0 评论