- 博客(5)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 spark读写csv文件
如果是spark1.6.0请添加maven： <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10</artifactId> <version>1....
2018-03-29 11:48:24
15340
3
原创 hive增删改查操作
增加数据：(1)查询表数据再插入（覆盖）hive> insert into table dhi_sk_repair_deed_test select * from dhi_sk_repair_deed limit 100;hive> insert overwrite table dhi_sk_repair_deed_test select * from dhi_sk_repair_de...
2018-03-21 12:02:20
4436
原创 hive创建表
(1)创建（内部）表hive> create table table01(ts bigint,line string) ;(2)创建一个新表，复制表结构和数据hive> create table table02 as table01;hive> create table table02 as select * from table01 limit 10;(3)...
2018-03-21 11:16:11
665
原创 spark streaming监控HDFS文件目录
集群环境：CDH5.8.0 / spark1.6.0 / scala2.10.4基于Scala的基本使用方式如下：package com.egridcloud.sparkstreamingimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.io...
2018-03-16 16:59:56
3924
原创 spark读写数据到kafka
集群环境：CDH5.8.0 / spark1.6.0 / scala2.10.4在使用时，我们需要添加相应的依赖包： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.10</artifa...
2018-03-16 12:41:10
5498
大数据及其常用组件介绍
2018-11-06
window平台 ncat工具
2018-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人