大数据
wowXiaoCheng808
有一份热,发一份光,不必等待炬火/无用之用,知行合一,厚积薄发
展开
-
复制虚拟机到新机子上centos6
1.vi /etc/udev/rules.d/70-persistent-net.rules // 删除之前的eth0,将eth1改为eth02.ifconfig查看eth1的HWaddr3.vi /etc/sysconfig/network-scripts/ifcfg-eth0//修改HWaddr,并设置静态IP4.reboot5.查看ifconfig和ping原创 2021-11-03 17:32:50 · 242 阅读 · 0 评论 -
INFO ipc.Client: Retrying connect to server: hadoop103/192.168.1.103:8032. Already tried 1
太久不动hadoop集群,启动时出现这个问题这个问题只有两个可能:1.防火墙2.yarn未启动resourcemanager启动不起来如果不是yarn-site的配置问题,那么还有一个最傻的错误就是,你的yarn装在了另一台机子上!!!!!看自己的yarn-site.xml...原创 2021-10-28 17:39:41 · 1512 阅读 · 0 评论 -
解决hive客户端连接服务端报错“Required field ‘client_protocol‘ is unset! ” 的问题
当用hive客户端去连接服务端时,注意客户端的 hive-jdbc的version 要和hive Server的version要保持一致哦。原创 2020-11-16 17:16:50 · 732 阅读 · 0 评论 -
Hadoop集群的某一个 datanode 无法启动,错误:All specified directories are failed to load.
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to master/192.168.200.199:9000. Exiting.修改dfs/dn/current/VERSION文件的clusterID保持一致就可以了原创 2020-11-16 15:53:05 · 225 阅读 · 1 评论 -
scalac Hello.scala (console):1: error: ‘;‘ expected but ‘.‘ found.
scalac Hello.scala(console):1: error: ';' expected but '.' found.在使用刚使用scala时尝试使用REPL界面编译和运行“HelloWorld”文件就会报这样的错误。原因很简单,你在命令行里输入“scala”之后进入的这个界面是用来即时测试scala语句的,而不能用来编译和运行scala文件。编译和运行scala文件直接在命令行完成就行。(注意正确的路径,文件所在地)PS C:\Users\wyx> cd DesktopPS C原创 2020-08-05 15:09:40 · 9290 阅读 · 1 评论 -
手机信令数据、大数据--自己做的小东西,纪念一下
之前在做个什么外包的比赛,给的是一部分手机信令数据,让挖掘价值。一队人都很菜(包括我),做来做去什么也不会,还是基于前端的展示。最后,没时间了,自己凑乎学了一点前端做了下,很多想法还没来得及实现,但目前也就这样了。发个赶时间录的视频,纪念一下。有时间的话把功能完善一下,或者把过程复现一下。但是说实话,不仅功能不全面,连实现的方法和代码也很垃圾。。。。反正我现在本来就垃圾嘛突然发现上传不了视频。。等比赛结束发个b站,然后再上传吧。。...原创 2020-06-05 00:27:44 · 2746 阅读 · 8 评论 -
hive jdbc错误Connection refused (Connection refused) (state=08S01,code=0)
Error: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.100.132:10000: java.net.ConnectException: Connection refused (Connection refused) (state=08S01,code=0)没有开启hiveServer2开启命令hive --service hiveserver2如果没添加环境变量,那就到hive的bin目录下去执原创 2020-05-14 16:42:19 · 2417 阅读 · 3 评论 -
WARN No appenders could be found——org.apache.hadoop.metrics2.lib.MutableMetricsFactory
WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib..MutableMetricsFactory)我看到网上这样的帖子有很多,我根据自己的情况(IDEA)简单总结一下1.是否在“resources”下创建"log4j.properties"2."log4j.properties"的位置是否正...原创 2020-04-04 11:33:42 · 444 阅读 · 0 评论 -
hadoop序列化常用数据类型
快查原创 2020-03-30 10:11:13 · 355 阅读 · 0 评论