Hadoop
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
hbase hfile命令用法
数据准备# hbase shell窗口插入数据hbase(main):015:0> put 'rrw_ugrp', 'rk002', 'user_attri:name', 'xiaoming002'Took 0.0112 seconds原创 2020-07-22 14:40:57 · 849 阅读 · 0 评论 -
Hbase 1.3.6 源码编译
下载源码下载地址:http://hbase.apache.org/downloads.htmlReleasesVersion Release Date Compatibility Report Changes Release Notes Download Notices 2.3.0 2020/07/13 2.2.0 vs 2.3.0 Changes Release Notes src(sha512asc)bin(sha...原创 2020-07-18 16:29:33 · 379 阅读 · 0 评论 -
HIVE的一些实用技巧
1 设置会话级别的参数# 显示 config 配置的值# 格式set <config>; # 示例set hive.cli.print.current.db# 设置config配置的值 # 格式set <config>=<config_value>;# 设置示例set hive.cli.print.current.db=true; 疑问:调优的时候很多参数是可以调整的, 为什么不配置到全局的里面 (hive-site.xml 文件..原创 2020-07-04 20:55:41 · 244 阅读 · 0 评论 -
如何让Hive表支持json数据
概述根据hive官方文档,主要用到了hive内置JsonSerDe类JsonSerDe 适用版本:Hive 0.12and later.要使用.JsonSerDe,需要添加相应的jar包ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar; # 我的服务器在该路径下不存在这个jar,需要寻找一番CREATETABLEmy_table(a string, bbigint, ...)ROW FORMAT SERD...原创 2020-05-30 12:05:48 · 869 阅读 · 0 评论 -
CDH环境故障: HDFS各服务进程状态未知,监控指标图表无数据
导语 cdh是管理大数据组件的利器,他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中,不小心,也会遇到一些问题。这时需要我们想办法去解决它。 本篇主要记录我遇到的一个CDH平台问题,就是突然有一天,我的大数据组件服务启动后,各进程显示灰色的问号图标,并提示运行状态未知。并且监控图标全都无法显示 以为是...原创 2020-05-04 09:59:18 · 4406 阅读 · 0 评论 -
执行start-yarn.sh脚本,NodeManager都启动成功,ResourceManager没有启动
在启动hadoop集群的yarn进程时,执行sbin/start-yarn.sh脚本,发现Datanode进程都起来了,维度ResouceManager进程没起来。后来执行 sbin/yarn-daemon.sh start ResouceManger单独启动这个进程,也没有成功。难道网络端口不通?仔细排查启动脚本start-yarn.sh,看看是不是什么环境没具备,...原创 2020-04-06 12:48:32 · 5416 阅读 · 0 评论 -
hdfs datanode进程没法启动
刚搭建的hadoop集群,文件系统有点错乱,然后一顿整之后,datanode没法启动了。没办法,只能对hdfs集群文件系统进行格式化了,但是格式化并不是一个简单的命令就完事,需要彻底清除前面操作留下的任何痕迹,否则datanode还是无法启动!hdfs重新格式化步骤sbin/stop-all.sh# 清理hadoop.tmp.dir目录rm -rf /home/hadoop/ap...原创 2020-04-06 00:08:38 · 304 阅读 · 0 评论 -
Hadoop: hdfs 块异常检查
在hdfs上创建了一个文件[hadoop@hdp02 ~]$ echo "hadoop file" > hadoop01.txt[hadoop@hdp02 ~]$ hadoop fs -mkdir /hadoop[hadoop@hdp02 ~]$ hadoop fs -put hadoop01.txt /hadoop/[hadoop@hdp02 ~]$ hadoop fs -ls...原创 2020-04-05 23:44:04 · 658 阅读 · 0 评论 -
Hadoop: datanode连接namenode 9000端口报错 NoRouteToHostException: No route to host
hadoop集群搭建好后,在datanode节点上执行hadoop fs命令,报下面的错[hadoop@hdp02 ~]$ hadoop fs -ls /ls: No Route to Host from hdp02/192.168.60.102 to hdp01:9000 failed on socket timeout exception: java.net.NoRouteToHos...原创 2020-04-05 21:55:46 · 875 阅读 · 2 评论