大数据
文章平均质量分 93
大仁哥哦~
这个作者很懒,什么都没留下…
展开
-
CDH6.2平台离线安装指南(完全版)
一、平台概述CDH,全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心(可扩展存储、分布式计算),最为重要的是提供基于web的用户界面。CDH的优点:版本划分清晰,更新速度快,支持Kerberos安全认证,支持多种安装方式(如Yum、rpm等)。CDH分为Cloudera Manager管理平台和CDH parcel(p原创 2021-03-02 14:20:38 · 3570 阅读 · 3 评论 -
oozie工作流Hive表插入中文乱码解决
在oozie中调用hql脚本插入数据,发现插入中文时会发生乱码。如:insert into test.ods_stu_test_rw_1030 values(103,‘大仁哥’,‘1900-01-01’, ‘男’);解决方法:在配置调度时,添加配置:key: yarn.app.mapreduce.am.admin-command-optsvalue: -Dfile.encoding=UTF-8配置添加方法:再次运行工作流,正常插入中文。...原创 2020-10-30 10:58:44 · 689 阅读 · 1 评论 -
Oracle错误【ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效】 解决
修改oracle表字段遇到这个错误:在行: 13 上开始执行命令时出错 -alter table ADS_IOT_PM_GSMCELL_H modify ( SERV_TRANS_RATE NUMBER(20,4))错误报告 -ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效00054. 00000 - "resource busy and acq...原创 2020-05-01 16:03:44 · 1126 阅读 · 0 评论 -
flink通过分布式缓存加载配置文件
Flink分布式缓存是类似于hadoop的分布式文件,可以在启动时将指定的文件分发到各个工作节点的临时目录。注意,此分发过程仅会在作业启动时执行一次,所以无法动态更改。缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行,Flink自动将文件或者目录复制到所有worker节...原创 2020-03-17 18:49:55 · 2022 阅读 · 0 评论 -
Redis错误:ERR handle response, backend conn failure, bad array len, too long 解决方法
使用Redis中遇到错误:[ERROR] (DimUtil.java:446) 根据业务时间获取Codis中保存的spIp列表出错,原因:ERR handle response, backend conn failure, bad array len, too long 2019-10-18 14:25:36,422 redis.clients.jedis.exceptions.JedisD...原创 2019-10-19 09:20:21 · 2486 阅读 · 0 评论 -
[转]三种流处理框架比较:Storm,Spark和Flink
storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。Apache Storm在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(ma...转载 2019-01-12 12:06:23 · 7200 阅读 · 0 评论 -
Spark Streaming开发入门——WordCount(Java&Scala)
https://blog.csdn.net/lxhandlbb/article/details/51211631一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程,需要添加Spark Streaming依赖。<dependency> <groupId>org.apache.spark...转载 2019-01-13 23:07:35 · 402 阅读 · 0 评论 -
【转】R、Python、Java、Scala几种语言的比较
转自:https://baijiahao.baidu.com/s?id=1577776089434181697&wfr=spider&for=pc数据科学,一个想想就令人激动的领域,通过不一样的智慧将最优美的统计知识与编程能力结合起来,一个1+1>2 的领域,并且今年来所有的发展都预示着数据科学的辉煌之日已经来临,不管是大数据,人工智能,深度学习还是数据分析,都离不开数据...转载 2019-01-13 23:31:08 · 3672 阅读 · 0 评论