- 博客(5)
- 收藏
- 关注
RSS订阅原创 2021-07-06
标题针对利用SparkStreaming实时消费Kafka，采集不到数据卡住不动 不打印实时时间戳报错问题解说简单样例代码：定义工具类（存放Kafka的配置信息） ，定义一个执行类（跑SparkStreaming程序）工具类：MyKafkaUtilsimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.StreamingContextimport org.a
2021-07-06 13:38:38
123
原创 xftp连接虚拟机服务器中文目录乱码
这里先通过xshell连接工具，把本地和服务器建立连接这里出现中文乱码上方选项卡选择文件，点击属性，按图片操作最后右侧服务器端，刷新一下目录右击刷新，成功
2020-10-15 12:52:57
695
原创 为什么在hive里drop掉表信息后，再创建相同的表，还能再查出原来那张表的数据
因为这里你建立的是一个外部表，所以表数据不被hive所有。而且当你创建这个表的时候，表的元数据结构信息，就被保存到了MySQL备份了，所以当你在hive里drop表的时候就只是drop掉了，表的结构信息，但是这个元数据信息还备份在MySQL里的。MySQL指向的是Hadoop的文件系统，并没有收到丝毫影响。所以当你再去hive里创建这个表的时候，映射到MySQL，发现已经有这个元数据了，而且指向的hdfs上还有数据，所以能直接查出来。...
2020-07-27 14:44:09
1822
3
原创 想写个博客：为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在
为什么删除存储在Hadoop上的hive数据后，MySQL里存储的元数据信息仍然存在，hive的shell窗口里查看也仍然存在答：根本删除不掉，这个表的结构信息仍然存在。当你在启动hive后的shell窗口里再次插入数据的时候，再去浏览器查看hdfs文件系统，你就会发现，你又可以看到原先好像删除的表信息了。多试几遍，用Hadoop命令直接删除文件系统上的hive仓库里的表信息，你就会发现：确确实实，你把hdfs文件系统上的hive仓库里的这个表删除了，但是，mysql里的元数据信息你没有删，所以，当
2020-07-26 15:11:33
1098
原创 如何在linux系统centos7版本vim编辑模式下把黑方块光标变为竖线光标
如何在linux系统centos7版本vim编辑模式下把黑方块光标变为竖线光标1.直接在桌面右键选择打开终端2.上方状态栏点击编辑选择首选项3.左下角选择配置文件—未命名选择文本–光标4.文本里可选择黑方块、|线、下划线5.光标闪烁可选择已启用6.点击关闭，就设置完成啦...
2020-03-28 12:41:24
2632
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人