大数据
IT小浪
黄淮学院计算机科学与技术1601B
展开
-
hadoop的配置--Day1
所需节点的域名映射:hadoop01:192.168.126.11hadoop02:192.168.126.12hadoop03:192.168.126.13hadoop04:192.168.126.14一:伪分布式前提已经配置好jdk:https://blog.csdn.net/qq_36297434/article/details/839282411:启动hd...原创 2019-02-16 22:19:22 · 557 阅读 · 0 评论 -
Windows下配置单机版的HBase--Day2
一:资源下载。从以下链接中下载安装包。或者自己准备稳定的安装包。https://download.csdn.net/download/qq_36297434/10975768https://download.csdn.net/download/qq_36297434/10975748二:配置jdk1.7(低端操作,不予解释)三:配置hadoop在D盘下新建目录HBase,将...原创 2019-02-26 10:49:12 · 371 阅读 · 0 评论 -
HBase数据操纵--Day3
一:数据操纵语言1:查看所有表list2:创建表名为s_behavior的表create 's_behavior',{NAME=>'pc'},{NAME=>'ph'}3:查看建表describe 's_behavior' 4:修改表disable 's_behavior' //下线表alter 's_behavior' {NAME=&...原创 2019-03-30 21:56:47 · 606 阅读 · 0 评论 -
spark的搭建--Day4
一:安装并配置scalaexport SCALA_HOME=/usr/local/scala/scala-2.11.12export PATH=$PATH:$SCALA_HOME/bin二:安装配置spark1:配置环境变量export SPARK_HOME=/usr/local/spark/spark-2.3.1-bin-hadoop2.6export PATH=$PA...原创 2019-04-16 21:01:05 · 327 阅读 · 1 评论 -
ubuntu下配置HBase--Day5
1:配置环境变量export JAVA_HOME=/usr/local/java/jdk1.8.0_201export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATHexport HADOOP_HOME=/usr...原创 2019-04-16 21:29:21 · 159 阅读 · 0 评论 -
协同过滤算法--Day6
一:相似度的计算1:欧几里德距离2:皮尔逊相关系数3:Cosine相似度二:协同过滤算法1:基于用户的协同过滤算法(1):基于用户的协同过滤要解决的问题(a):已知用户-物品评分矩阵(一般都是非常稀疏的)(b):推断矩阵中空格empty cells处的值 物品 1 0 3 0 5 0 0 0 0 0用户 0 0 0 0 0...原创 2019-06-19 22:11:39 · 170 阅读 · 0 评论 -
Spark入门知识--Day7
一:Spark导论1:Spark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。Spark的一个主要特点就是能够在内存中进行计算。2:Spark的软件栈包括很多组件3:Spark不仅可以将任何Hadoop分布式文件系统(HDFS)上的文件读取为分布式数据集,也可以支持其...原创 2019-06-22 21:39:25 · 237 阅读 · 0 评论 -
Hadoop-HA高可用
一:HA概述1:所谓HA(High Available),即高可用(7*24小时不中断服务)。2:实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3:Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。4:NameNode主要在以下两个方面影响HDFS集群 NameNode...原创 2019-10-07 23:31:10 · 141 阅读 · 0 评论