- 博客(5)
- 收藏
- 关注
RSS订阅原创 采用Flume-kafka-Flume将数据导入到HDFS中
首先，我们要创建两个conf文件供Flume来使用，分别为flume-kafka.conf和kafka-flume-hdfs.conf,然后我们创建一个kafka的topic，叫做flume，我们通过这个topic来检验flume的数据是否传输给了kafka。下面是示例代码。首先创建flume-kafka.conf# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = spooldir
2020-08-14 17:17:02
1327
原创 flume监听文件或目录上传到hdfs时，无法读取到数据，解决办法
当我们用flume去监听一个文件或目录时，需要设置一些信息。详情请参考flume官方文档，但是，有的时候设置完成后，执行，有可能会读取不到数据这时候我们就要看一下我们的设置。a2.channels.c2.transactionCapacity = 100a2.sinks.k2.hdfs.batchSize = 1000需要看一下这两个设置，我们这两个设置一定要是相同的情况下才可以。自己重新设置一下就可以了。...
2020-07-29 14:36:13
2669
原创 使用scala语言通过IDEA使SparkSQL与Hive建立连接时产生的一些问题和解决方法。
基础代码：import java.io.Fileimport org.apache.spark.sql.Rowimport org.apache.spark.sql.SparkSessioncase class Record(key: Int, value: String)val warehouseLocation = new File("spark-warehouse").getAbsolutePathval spark = SparkSession.builder().appName
2020-07-16 15:21:09
534
原创 IDEA创建SparkSQL程序中出现的一些错误及解决方法
java.lang.IllegalArgumentException: Illegal pattern component: XXX第一次出现这个问题：主要原因是缺少依赖，在pom文件中导入依赖<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.5&
2020-07-14 12:37:44
460
原创 解决通过IDEA连接HBase时出现拒绝连接的错误
当我们用IDEA连接Hbase时，如果出现下面这种一直尝试连接的警告。我们可以在代码：val conf = HBaseConfiguration.create()后面加上自己的Hbase所在的主机号：conf.set("hbase.zookeeper.quorum", "172.16.50.30")如果这样还不能解决，请参考其他人的意见。...
2020-07-13 14:55:43
1328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人