
大数据
了解大数据专栏
小菜鸡0626
就是为了及时行乐
展开
-
集群-时钟同步操作
集群-时钟同步操作 为什么需要时间同步? 很多分布式系统是有状态的,比如说存储一个数据,A节点与b节点可能会出现时间不一致现象,而导致数据丢失问题。 两种办法: 办法一: 将一个主机设置为标准时间,其他主机都与之时间相适应。 办法二: 通过网络,所有的主机与时间同步服务器保持同步。 # 安装 yum install -y ntp # 启动定时任务 crontab -e 之后输入界面 */1 * * * * /usr/sbin/ntpdate btp4.aliyun.com原创 2021-03-10 17:33:44 · 218 阅读 · 0 评论 -
Hadoop-伪分布环境
Hadoop-伪分布环境 下载 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/ 将下载好的文件,通过XFTP传到服务器。 解压 配置环境变量 export HADOOP_HOME=/software/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP原创 2021-03-10 17:32:32 · 152 阅读 · 0 评论