- 博客(6)
- 收藏
- 关注
RSS订阅原创 CDH6.2.0 修改logo.svg
1.修改cloudera manager的logo，只需替换logo文件路径：/opt/cloudera/cm/webapp/static/cms/img/logo.svg注：logo.svg需要自己设计logo样式，生成svg文件。2.修改logo下的提示文字路径：/opt/cloudera/cm/message_zh_CN.propertieslabel_zh_CN.p...
2019-12-09 16:08:55
606
1
转载 Centos7.4安装与下载
一、CentOS7.4下载官网下载地址：http://vault.centos.org/1、进入CentOS下载官网，找到CentOS7.4版本2、在CentOS7.4版本页面中，找到isos/3、进入页面后，可以看到x86_644、在CentOS下载页面中，选择 CentOS-7-x86_64-DVD-1708.torrent进...
2019-08-05 17:59:01
17679
4
转载 Hive分区表学习
分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区1、建表语句先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句是一样的。create table test_partition (id string comment 'ID', name string comment '名字')co...
2019-05-10 10:37:41
140
转载 使用kittle将文本文件导入数据库
1.准备好数据 | 切割JY01011604280016|JY010116042800160019|1|1|2017-04-27|1000000.00|121666.66|1000000.00|121666.66| |01 |JY01011604280022|JY010116042800220025|1|1|2017-04-27|1000000.00|121666....
2019-04-29 10:08:28
184
转载 SparkStreaming消费Kafka中的数据 使用zookeeper和MySQL保存偏移量的两种方式
第一种是使用zookeeper保存偏移量object KafkaDirectZookeeper { def main(args: Array[String]): Unit = { val group = "DirectAndZk" val conf = new SparkConf().setAppName(s"${this.getClass.getName}").s...
2019-04-18 17:46:05
458
原创 SparkStreaming整合kafka实践
kafka作为一个实时的分布式消息队列，实时的生产和消费消息，这里我们可以1.KafkaUils.createDstream方式：利用SparkStreaming实时计算框架实时的读取kafka中的数据然后进行计算。在spark1.3版本后，kafkaUtils里面提供了两个创建dstream的方法，一种为KafkaUtils.createDstream,另一种为KafkaU...
2019-04-18 14:21:47
402
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人