- 博客(5)
- 收藏
- 关注
原创 2021-07-06
标题针对利用SparkStreaming实时消费Kafka,采集不到数据卡住不动 不打印实时时间戳报错问题解说简单样例代码:定义工具类(存放Kafka的配置信息) ,定义一个执行类(跑SparkStreaming程序)工具类:MyKafkaUtilsimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.StreamingContextimport org.a
2021-07-06 13:38:38
123
原创 xftp连接虚拟机服务器中文目录乱码
这里先通过xshell连接工具,把本地和服务器建立连接这里出现中文乱码上方选项卡选择文件,点击属性,按图片操作最后右侧服务器端,刷新一下目录右击刷新,成功
2020-10-15 12:52:57
695
原创 为什么在hive里drop掉表信息后,再创建相同的表,还能再查出原来那张表的数据
因为这里你建立的是一个外部表,所以表数据不被hive所有。而且当你创建这个表的时候,表的元数据结构信息,就被保存到了MySQL备份了,所以当你在hive里drop表的时候就只是drop掉了,表的结构信息,但是这个元数据信息还备份在MySQL里的。MySQL指向的是Hadoop的文件系统,并没有收到丝毫影响。所以当你再去hive里创建这个表的时候,映射到MySQL,发现已经有这个元数据了,而且指向的hdfs上还有数据,所以能直接查出来。...
2020-07-27 14:44:09
1822
3
原创 想写个博客:为什么删除存储在Hadoop上的hive数据后,MySQL里存储的元数据信息仍然存在,hive的shell窗口里查看也仍然存在
为什么删除存储在Hadoop上的hive数据后,MySQL里存储的元数据信息仍然存在,hive的shell窗口里查看也仍然存在答:根本删除不掉,这个表的结构信息仍然存在。当你在启动hive后的shell窗口里再次插入数据的时候,再去浏览器查看hdfs文件系统,你就会发现,你又可以看到原先好像删除的表信息了。多试几遍,用Hadoop命令直接删除文件系统上的hive仓库里的表信息,你就会发现:确确实实,你把hdfs文件系统上的hive仓库里的这个表删除了,但是,mysql里的元数据信息你没有删,所以,当
2020-07-26 15:11:33
1098
原创 如何在linux系统centos7版本vim编辑模式下把黑方块光标变为竖线光标
如何在linux系统centos7版本vim编辑模式下把黑方块光标变为竖线光标1.直接在桌面右键选择打开终端2.上方状态栏点击编辑选择首选项3.左下角选择配置文件—未命名选择文本–光标4.文本里可选择黑方块、|线、下划线5.光标闪烁可选择已启用6.点击关闭,就设置完成啦...
2020-03-28 12:41:24
2632
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人