hadoop
妄念驱动
这个作者很懒,什么都没留下…
展开
-
hadoop报错Name node is in safe mode
今天集群上操作出现如下错误:Cannot create directory /home/hduser/wordcount. Name node is in safe mode.安全模式。。翻了下资料,发现了解决方法 在hadoop安装目录下执行如下命令bin/hadoop dfsadmin -safemode leave即可解除安全模式Safe mode is OFFsafemode模式NameN原创 2017-09-24 10:26:08 · 364 阅读 · 0 评论 -
Flume搭建测试
日志收集之Flumecase 1:1. wget http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz2. tar -zxvf apache-flume-1.6.0-bin.tar.gz3. mv apache-flume-1.6.0 flume4. cd confvi commands.c原创 2017-09-08 09:53:17 · 249 阅读 · 0 评论 -
Python-基于物品的协同过滤算法(附两种算法的对比)
与上一篇UserCF数据来源一致。先贴代码ItemCF:#coding=utf-8import mathclass ItemCF: def __init__(self,basefile,testfile): self.datafile = basefile self.testfile = testfile self.readData()原创 2017-09-10 19:32:59 · 3025 阅读 · 0 评论 -
Python-基于用户的协同过滤算法
数据来源:https://grouplens.org/datasets/movielens/#--------------------------------------------------------# Purpose: 基于已知的训练集,"测试集"中的user的item进行评分预测,并进行用户没有接触过的物品进行推荐.#---------------------------------原创 2017-09-09 19:18:39 · 2996 阅读 · 7 评论 -
Spark-RDD笔记及集群作业实例
第一部分:RDD笔记定义:Resilient Distributed Dataset(弹性分布式数据集)RDD是Spark应用程序中的数据表示形式RDD是一种分布式的内存抽象RDD具有数据流模型的特点:自动容错、位置感知调度和可伸缩性RDD是只读的记录分区的集合,使得实现容错的开销很低RDD是高度受限的共享集合特性:分区(partition):RDD的基本组成单位 对于一个RDD,分原创 2017-09-26 22:18:14 · 335 阅读 · 0 评论 -
Hive安装
#close firewall#ufw disable #mysql开启远程登录权限#bind-address= 127.0.0.1#解压hive-0.13.1-bin.tar.gztar xvzf hive-0.13.1-bin.tar.gz#修改目录名称为hivemv apache-hive-0.13.1-bin hive#设置环境变量sudo gedit /etc/profile原创 2017-09-02 11:46:17 · 207 阅读 · 0 评论 -
Hbase安装及参数说明
1.启动hadoopstart-all.sh 2.获取并解压HBase安装包tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz cd hbase-0.98.9-hadoop23.配置conf中的文件(1)配置hbase-env.sh(修改下面环境语句的路径)export JAVA_HOME=/usr/local/java/jdk1.7.0_71/(2)配置hbas原创 2017-09-02 17:03:41 · 299 阅读 · 0 评论 -
sqoop配置与简单应用
Sqoop = SQL- to-Hadoop,是易用、并行的导入导出工具。一. 安装1.1 安装并设置环境变量 解压缩,重命名为sqoopsudo gedit /etc/profile文末添加安装路径,别忘了source一下export SQOOP_HOME=/home/hduser/sqoopexport PATH=$SQOOP_HOME/bin:$PATH1.2 修原创 2017-09-02 18:41:45 · 292 阅读 · 0 评论 -
Hadoop集群搭建
网络及系统配置环境配置集群测试原创 2017-07-31 18:16:44 · 395 阅读 · 3 评论