Hadoop+HBase+Hive
Hadoop生态圈
-觅-
任人戏耍,不忘初心。
展开
-
Hadoop统计所有block的个数
block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'HDFS元数据的总条数位置在nn/currentcat fsimage_0000000004473734258 | wc -l原创 2021-04-19 14:18:30 · 1466 阅读 · 0 评论 -
HBase命令启动流程,配置文件组件。
原创 2020-12-23 09:37:53 · 97 阅读 · 0 评论 -
Hive创建永久UDF教程。
添加 app_logs_hive.jar 到类路径/usr/local/soft/apache-hive-3.1.1-bin/lib 下临时添加 jar 包:hive (applogsdb)> add jar /usr/local/soft/apache-hive-3.1.1-bin/lib/hiveUDF-app_logs_hive.jar;永久添加 jar 包:在 conf/hive-site.xml 文件中添加由于之前添加过 json 的 jar 包所以修改为如下方式:hi原创 2020-10-19 20:15:17 · 1289 阅读 · 0 评论 -
Hadoop启动没有web页面,No Route to Host from master/192.168.13.186 to master:9000 failed on socket timeout
问题描述:拷贝的虚拟机在新的环境启动Hadoop时,hadoop有NN和DN但是没有web页面。ifconfig中的ip已经更改。使用hdfs命令出现以下错误。# hdfs dfs -ls /解决:后来发现ip不对。发现还有ip映射没有修改使用vi /etc/hosts修改为对应的。总结:出现这个问题大部分是一些细节没有考虑到(ip)。更多细节参考https://www.cnblogs.com/zlslch/p/6604189.html...原创 2020-12-02 11:08:37 · 1406 阅读 · 0 评论