![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
文章平均质量分 78
UpCoderXH
这个作者很懒,什么都没留下…
展开
-
ubuntu Hadoop 填坑记
执行bin/hadoop的时候一直connection failed 需要将/etc/hosts 里面的ubuntu 里面的127.0.1.1 改成127.0.0.1每次重启之后都会Hadoop的web管理页面都打不开,也就是localhost:8088 和 localhost:9870 进不去,但是bin/start-all.sh 正常在Hadoop 安装目录下建立tmp目录,我这里是/usr原创 2017-03-16 17:06:33 · 1168 阅读 · 0 评论 -
Spark RDD常用的函数
Spark RDD常用函数原创 2017-04-25 16:29:05 · 1316 阅读 · 0 评论 -
Spark 独立服务器的配置
Spark 独立服务器的配置原创 2017-05-05 10:39:18 · 1480 阅读 · 0 评论 -
Maven Intellij 配置下载镜像
在使用maven管理包的时候,总会出现包下载很慢的情况,所以这里我们使用阿里云的仓库来代替maven自己的仓库,来提高下载的速度。 - Maven 重新指定源 - 修改maven/conf/setting.XML里面关于mirror的设置,具体内容如下: <mirror> <id>nexus-aliyun</id> <mirror原创 2017-04-19 11:11:10 · 3132 阅读 · 0 评论 -
Spark pairRDD
Spark pairRDD原创 2017-04-28 15:03:54 · 383 阅读 · 0 评论 -
Spark pagerank
pageRank Spark原创 2017-04-28 15:10:54 · 439 阅读 · 0 评论 -
Hadoop 入门例子
“Hello World”–WordCount我们这里设置两个输入文件,都在input目录下,输出放在output目录下上诉的两个目录都作为main的参数传进来Map程序/** * 这个map的作用是用来计数每个单词出现的次数 * LongWritable 代表的是输入的key值类型 * Text 代表的是输入的value值类型 * Text 代表原创 2017-03-16 17:28:21 · 229 阅读 · 0 评论 -
Hadoop 入门知识
Hadoop 的基本组成 HDFS 分布式文件管理系统,主要是用来实现分布式存储的底层支持。MapReduce 分布式程序处理框架,主要是实现对并行任务的程序支持。HDFS HDFS 采用的是主从结构(master/slave)模式。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和访问操作DataNode是原创 2017-03-16 17:17:33 · 223 阅读 · 0 评论 -
Ubuntu 14.04下 Hadoop3.0-alpha 的安装
前提准备安装JDK 和 JREjdk 安装网上下载jdk1.7+包放入/usr/java/jdk1.8.0目录下在~/.bashrc 文件下添加如下语句export JAVA_HOME=/usr/java/jdk1.8.0export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libex原创 2017-03-16 16:52:24 · 1091 阅读 · 0 评论 -
Spark RDD基础
什么是RDD?原创 2017-04-25 17:32:03 · 358 阅读 · 0 评论