2017年04月_GE12

12月 10月 07月 06月 05月 04月 03月 02月 01月

原创 (16)hadoop 集群重启与停止

Once all the necessary configuration is complete, distribute the files to the HADOOP_CONF_DIR directory on all the machines.Hadoop StartupTo start a Hadoop cluster you will need to start both th

2017-04-27 16:20:19 3613

原创 3. FastDFS 配置

FastDFS 5.0.4 获取路径：https://github.com/happyfish100/fastdfs/releases对应JAVA-Client获取路径：https://github.com/happyfish100/fastdfs-client-javaLibfastcommon 获取路径：https://github.com/happyfish100/libfastco

2017-04-20 09:08:24 624

原创 (15)hadoop 日志级别设置

第一处是${HADOOP_HOME}/etc/hadoop/hadoop-env.sh，把INFO改为WARN即可：启动脚本${HADOOP_HOME}/sbin/hadoop-daemon.sh，也需要这样改一下：export HADOOP_ROOT_LOGGER=${HADOOP_ROOT_LOGGER:-"WARN,RFA"}

2017-04-14 16:40:30 2610

原创 Spark ML -1：ALS推荐算法

矩阵分解推荐系统，最基本的一个数据就是，用户-物品的评分矩阵，如下图1所示图1 矩阵中，描述了5个用户(U1,U2,U3,U4 ,U5)对4个物品(D1,D2,D3,D4)的评分(1-5分)，- 表示没有评分，现在目的是把没有评分的给预测出来，然后按预测的分数高低，给用户进行推荐。ALS 的核心就是下面这个假设：打分

2017-04-13 10:11:36 2799 1