![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Lifecycle-log4j
如果有一天我们觉得自己碌碌无为,那是因为我们自己没有努力让自己活的更精彩。
展开
-
hdfs小文件合并
1、hdfs小文件合并脚本 #!/bin/bash bizdate=$1 path=$2 for (( i = 0; i < 10; i++ )); do bizhour="0${i}" echo "${bizdate} ${bizhour}" hdfs dfs -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/ if [ $? -ne 1 ]; then原创 2020-07-13 11:35:05 · 805 阅读 · 0 评论 -
hdfs数据迁移脚本
1、将该脚本放在新集群 2、该脚本是将老集群的数据拉到新集群,底层是运行mapreduce hadoop distcp -Dmapreduce.job.name="distcp_history_bid_${path}" -Dmapreduce.job.queuename=root.distcp_history -Ddistcp.dynamic.recordsPerChunk=50 -Ddistcp.dynamic.max.chunks.tolerable=10000 -skipcrccheck -m 300原创 2020-07-13 11:31:15 · 298 阅读 · 0 评论 -
windows下hadoop的安装与配置
1、将hadoop安装包解压到某个文件夹下面即可 2、配置环境变量 右击计算机–>属性–>高级系统设置–>高级–>环境变量 新建–>编辑系统变量 变量名–>HADOOP_HOME 变量值–>hadoop的安装路径,bin文件夹的上一层 3、在Path中增加%HADOOP_HOME%\bin,每个变量之间通过;分隔 4、点击保存 5、打开cmd界面 6、输入hadoop version ...原创 2020-05-13 17:46:21 · 202 阅读 · 0 评论