chic_data的博客

什么是安全模式     安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因

Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管

将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式

用户行为路径 （一）数据清洗采用hive编写hql代码实现:代码如下：USE src_dat_zuma;DROP TABLE 20170329_log_tycx;CREATE TABLE IF NOT EXISTS 20170329_log_tycx (SERVER_DT       string,SP_CD                string,

为了学习Spark，在window上使用eclipse创建包含Scala的maven工程，并打包至于服务器运行。1.1 hadoop安装安装hadoop2.6.0，参考博客1.2 spark下载下载spark-1.6.0-bin-hadoop2.6.tgz，在官网下载，在 choose a download type中建议选择 select apache m

配置阿里云的yum源1）下载repo文件 wget http://mirrors.aliyun.com/repo/Centos-7.repo2）备份并替换系统的repo文件 cp Centos-7.repo /etc/yum.repos.d/ cd /etc/yum.repos.d/ mv CentOS-Base.repo CentOS-Base.repo.ba