- 博客(22)
- 收藏
- 关注
RSS订阅原创 openwrt ppoe拨号后数据为零的解决方法
今天早上偶然发现连不上网，登录openwrt后台发现参数正常，可是怎么都上不了网，于是准备重刷openwrt系统，openwrt镜像系统拷贝到u盘，登录pe系统，分区，系统写入到j1900分硬盘，然后wan拨号选择ppoe拨号，输入宽带账号和密码（注意宽带账号和密码字母大小写），但是还是显示接收和发送为零，网上搜索了下，wan口要改mac地址，于是wan口重新选择dhcp协议，在高级设置里改wan口的mac地址，然后重新选择ppoe拨号，接收和发送数据有了，ip地址有了，然后却发现网页上不了网，进过一番
2022-06-20 20:03:23
6293
1
原创 SparkSql读取多行json文件产生-- _corrupt_record: string (nullable = true)错误！！
所用的软件版本：spark2.3.0hbase1.4.6IDEA2019.1在利用spark.read.json("e:/test.json")读取多行的json文件，利用DataFrame的DF.show()显示，除了_corrupt_record这行有全部的json内容，其他column全部都是null，DF.printSchema()的结果是：root |-- _co...
2019-05-08 15:58:45
2804
原创 RDD，DataFrame，DataSet之间进行互相转换!!（非常重要）
转自https://blog.csdn.net/qq_36235275/article/details/82502352要求运用的滚瓜烂熟将RDD，DataFrame，DataSet之间进行互相转换RDD -》 DataFrame直接手动转换scala> val people = spark.read.json("/opt/apps/Spark/spark-2.2.2-b...
2019-05-08 15:24:38
2218
原创 解决如何对sparkStreaming的DataFrame某一column的部分内容进行修改！
所用的软件版本：spark2.3.0hbase1.4.6IDEA2019.1今天遇到一个问题，sparkStreaming的DataFrame的有些column的内容有换行符\n，然后DF.show()显示时，发现column内容有换行符\n的column，显示有两行。网上查找如何解决的途径，发现filter()方法只是对column名的内容进行过滤选择，对column的内容无法修...
2019-05-08 15:21:20
1526
原创 解决value sortByKey is not a member of org.apache.spark.rdd.RDD[Any, org.apache.spark.sql.Row]报错！！
所用的软件版本：spark2.3.0hbase1.4.6IDEA2019.1输入数据源是多行的json格式的数据， 利用如下代码进行处理：val session = SparkSession.builder().getOrCreate()import session.implicits._val DF = session.read.json("e:/test.json")...
2019-05-08 15:06:32
4885
转载 scala中val和var的区别
转自https://www.jianshu.com/p/a70f49e2fa3b一想到这两个的区别，大多数人第一反应就是，var 修饰的变量可改变，val 修饰的变量不可改变；但真的如此吗？事实上，var 修饰的对象引用可以改变，val 修饰的则不可改变，但对象的状态却是可以改变的。例如：class A(n: Int) { var value = n}class B(n: In...
2019-05-06 08:43:28
501
原创 SparkStreaming写入hbase数据库过程中，有空指针NullPointException产生如何处理以及RDD类型如何转换！！
所用的软件版本：spark2.3.0hbase1.4.6IDEA2019.1业务代码如下：package com.bd.sparkimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserializerim...
2019-04-28 09:16:59
1071
原创 解决spark连接hbase遇到MasterProtos$MasterService$BlockingInterface找不到的心酸过程！
所用的软件版本：spark2.3.0hbase1.4.6IDEA:2019.1用sparkstreaming处理kafka传过来的数据，然后将处理后的结果存储到hbase中，遇到如下的NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/MasterProtos$MasterService$Blocking...
2019-04-25 11:52:27
2744
原创 解决sparkstreaming读取kafka中的json数据，消费后保存到MySQL中，报_corrupt_record和name错误的！！
所用软件版本：spark2.3.0IDEA2019.1kafka_2.11-01.0.2.2spark-streaming-kafka-0-10_2.11-2.3.0先贴出代码：package com.bd.sparkimport java.util.Propertiesimport org.apache.kafka.clients.consumer.Consum...
2019-04-22 11:41:09
3314
1
原创 SparkStreaming接受kafka传过来的batch iterval里没有数据，且遇到SparkStreaming程序有sql语句查询请求，出现报错
所用软件版本：spark2.3.0kafka_2.11-01.0.2.2spark-streaming-kafka-0-10_2.11-2.3.0先贴出代码：package com.bd.sparkimport com.google.gson.Gsonimport org.apache.kafka.clients.consumer.ConsumerRecordimp...
2019-04-17 19:21:46
279
原创 探究sparkstreaming中变量的产生！！
val stream: InputDStream[ConsumerRecord[String, String]]= KafkaUtils.createDirectStream[String, String](ssc,PreferConsistent,Subscribe[String, String](topics, kafkaParams))def createDirectStream[K, ...
2019-04-17 18:25:31
203
原创 解决kafka自带的connect-file-source和connect-standalone处理JSON数据源后出现的格式改变问题！！
所用到的软件版本spark2.3.0idea2019.1kafka_2.11-0.10.2.2spark-streaming-kafka-0-10_2.11-2.3.0设想是在win7系统下爬虫得到JSON数据存储到win7文件夹，利用共享文件，Centos7 mount共享文件，得到JSON数据，然后利用kafka自带的connect-file-source监听该文件：...
2019-04-16 21:41:58
2584
转载 kafka提交connect-standalone.properties遇到connection to node -1 could not be established.Broker may not
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0在使用kafka监听文件，将数据传输到spark streaming里面进行分析处理，实时输出，用到/config/connect-standalone.properties和connect-file-source.prop...
2019-04-13 19:11:20
2475
转载 本地local和kafka监听本地文件，进行sparkstreaming实时输出
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0)先是用spark sql来监听特定目录下的某一个source文件的变化，进行实时分析，用IDEA进行本地lcoal模式进行实时处理，但问题是文件在本地，没在HDFS上面，将程序运行在spark集群上，出现找不到文件的错误，...
2019-04-13 18:28:40
809
原创 IDEA导入JAR包引起的错误
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0)在用IDEA导入kafka JAR包的时候，一直导入不进去，因为spark-streaming-kafka的jar包和kafka的jar包搞混，把org.apache.kafka.clients.consumer.Cons...
2019-04-13 17:39:43
1994
原创 local模式连接kafka出现org.apache.spark.SparkException:java.nio.channels.ClosedChannelException错误
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0)在做spark streaming用kafka进行监控本地文件，用IDEA2019.1进行编译的时候，一直弹出the thread "main" org.apache.spark.SparkException:java...
2019-04-13 17:31:40
1351
原创 kafka-0.8.x和kafka-0.10.0.0版本KafkaUtils.createDirectStream方法的比较
先是0.8.x版本KafkaUtils.createDirectStream是如何创建！！导包(MVN或者sbt)：groupId = org.apache.sparkartifactId = spark-streaming-kafka-0-8_2.11version = 2.2.1测试代码如下：object Kafka_Spark { def main(args: ...
2019-04-12 23:50:09
3041
1
转载 2019.4.10做spark streaming心得体会
所用到软件版本如下：spark:2.3.0.Spark Streaming中textFileStreaming()函数对同一个文件的更新不会有任何处理，只有对目录这一级的文件的更新进行处理。Spark Streaming 监控 dataDirectory目录和处理该目录下的任何文件：1：可以监控一个简单的文件夹，例如“HDFS://NAMENODE：8040/logs/”，在当前路...
2019-04-11 12:14:28
367
原创 IDEA打jar包出现mainfest.mf already exists in vfs错误
所用版本软件： IDEA：2019.1.6IDEA同一个包下又新建一个scala object，然后进行编译打包，在file----project Structure---Artifacts下，找到“+”，选择"JAR"----From modules with dependencies，在选择Main Class后，点击“OK”，总是弹出mainfest.mf already ex...
2019-04-11 12:06:45
1851
原创 关于spark集群运行出现java.lang.ClassNotFoundException错误
各软件版本如下spark:2.3.0IdealIC:2019.1 利用IdealIC软件对spark程序打包好后，然后放到集群运行，可是运行命令，一直报java.lang.ClassNotFoundException: com.dt.spark.wordcount错误，对打包好的jar进行打开，com.dt.spark包里面有wordcount这个类，然后在IdealIC查找原因...
2019-04-11 11:53:30
3532
转载 Centos7网络设置
原先用的是centos6.5，现在需要用到centos7，发现用centos6.5命令进行相关网络配置，结果无效，果断百度一下，发现centos7和centos6.5完全不一样，以下内容是转载网友所列的方法。PS:给我的提示，linux发行版本不同，相关命令也会进行变化。今天在一台PC上安装了CentOS 7，当时选择了最小安装模式，安装完成后马上用ifconfig查看本机的ip地址（局域网已
2017-05-14 19:10:01
252
转载 centos7网络配置方法（转载）
原先用的是centos6.5，现在需要用到centos7，发现用centos6.5命令进行相关网络配置，结果无效，果断百度一下，发现centos7和centos6.5完全不一样，以下内容是转载网友所列的方法。PS:给我的提示，linux发行版本不同，相关命令也会进行变化。原网址：https://www.kafan.cn/edu/9494182.html今天在一台PC上安装了CentOS 7
2017-05-14 19:05:20
298
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人