学习积累

好友推荐 
生成一组真的好友关系 
一组假设的间接好友关系

TF-IDF  是一种用于资讯检索与资讯勘探的常用加权技术。
     垂直搜索
TF（词频） 指的是某一个给定的词语在一份给定的文件中出现的次数。
        
IDF逆向文件频率  是一个词语普遍重要性的度量。     
TF-IDF = TF * IDF
TF-IDF 倾向于过滤掉常见的词语，保留重要的词语

hdfs
 hdfs 的clientnode先去创建  和 namenode去交互元数据 
          namenode返回3 各节点 blocklocaltion的清单
          客户端只和其中的1个datanode交互 他们用更小的传输单位
          进行传输。

hadoop的1.0
namenode单点故障 namenode压力过大，内存受限，影响系统扩展性
HA高可用 主备namenode
namenode的联邦机制解决内存受限
HA解决单点故障问题 只支持2个节点的HA
如果主namenode发生故障，则切换到备namenode上
解决内存受限Federation（联邦）
  所有namenode共享所有datanode存储资源
  每个namenode分管一部分目录

datanode同时向两个NN汇报工作。

主                             备
activeNN如何把静态的元数据透给StandbyNN   指的是客户端的增删改操作
  linux系统的NFS 网络文件系统  
  linux的服务器文件系统中的某一路径作为共享
  在搭建时 给出一个dfs的目录 其中会有一个name的目录（给namenode用的）
  镜像文件和日志都要存在这个目录下
  将这个目录作为一个挂载 挂载其实是某一个共享服务器的目录
  namenode在向磁盘写数据的过程 好像是写在了本机其实写在了某一台共享服务器里
  两个形成映射，Standby同理 这样两台达成共享静态元数据
  
  StandbyNN找一个时间点将内容写到磁盘镜像文件就生成了
  日志文件存在共享集群里了 镜像文件落到磁盘 就清空一下日志文件
   自动化的HA 让主备自动切换 ZKFC  namenode和zkfc要在同一个物理节点
   zkfc有俩只手和zookeeper集群连接 也会和namenode连接

   zookeeper也维护了一个目录树结构（书状的文件机制 可以注册节点）
   zkfc会监控自己管理下的Namenode 同时也会对一个公用的Zookeeper目录争抢锁
   谁获得了锁谁就是ActiveNN
   刚开机时 俩个namenode都是平级的 就是靠谁能争抢到zookeeper的锁

   Standby 备NN，完成了日志文件的合并产生新的image，推送会ActiveNN 主NN

   
   hadoop-daemon.sh start namenode      恢复namenode节点