![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
zzd0007
这个作者很懒,什么都没留下…
展开
-
hadoop安装与配置
参观以下教程,注意单机模式、伪分布模式、分布模式,还有hadoop1.0 和2.0版本的差别 http://dblab.xmu.edu.cn/blog/install-hadoop/ 厦大林子雨 http://www.imooc.com/video/7648 慕课网原创 2017-05-14 15:51:38 · 361 阅读 · 0 评论 -
源码追踪:mapreduce中的自定义分区、默认分区和自定义分组聚合、默认分组聚合
1.自定义分区:2.默认分区:mapreduce中会对key进行默认hash分区,使用的是Hashpartitioner:调用Hashpartition中的getpartition方法,里面是使用key的hashcode,观察Text类,里面有两个字段,byte数组和数组的长度,new Text(“zzd”)时会将字符串变为byte数组,(Longwritable里面是一个...原创 2018-08-08 15:06:21 · 1588 阅读 · 0 评论 -
flume采集使用tail -F比spooldir更好的分析
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1#exec 指的是命令# Describe/configure the sourcea1.sources.r1.type = exec#F根据文件名进行追踪,并保持重试,即该文件被删除或改名后,如果再次创建相同的文件名,会继续追...原创 2018-07-22 21:57:31 · 4650 阅读 · 3 评论 -
mapreduce实现ItemCF——基于物品的协同过滤
推荐系统的基本架构:实时推荐和离线推荐源码:github注:以下所有数据之间都是以 \t 隔开的,博客里显示效果不好数据集:1 101 51 102 31 103 32 101 22 102 32 103 52 104 23 101 23 104 43 105 53 107 54 101 54 103 34 104 44 106 45 101 45 102 35 103 25 104 45 105...原创 2017-08-08 12:27:50 · 1834 阅读 · 0 评论 -
基于物品的协同过滤-电影推荐
先说推荐系统的基本架构:推荐系统最基本的两个算法:基于用户的协同过滤(UserCF)基于物品的协同过滤(ItemCF)思路图:两者类似但思路不同。下面以ItemCF为例,用最笨的方法,用java代码实现:(貌似Python更为简洁,可惜不会唉。。。)完整代码见:github逻辑代码:package com;import java.io.BufferedReader;import java.i...原创 2017-08-04 11:16:08 · 1776 阅读 · 0 评论 -
windows下eclipse运行hdfs API常见问题
在windows下写hdfs的java API常见问题:准备:例如访问hdfs需要对应的jar包,可以在hadoop解压包里找(common+hdfs核心包+hdfs依赖的lib包),也可以通过maven。1、报空指针异常这是因为运行环境问题, 解决办法:系统环境变量指定HADOOP_HOME:F:\BaiduNetdiskDownload\day06 hadoop\day06原创 2018-01-25 09:14:09 · 465 阅读 · 0 评论 -
mapreduce 二次排序的两种方法
什么是二次排序?现在有一个文件secondrysort_in.txt,20 2150 5150 5250 5360 5160 5360 5270 557 8现在你对文件进行排序,按照第一个数从小到大排列,若果第一个数相同,则按照第二个数从小到大排列。输出文件secondrysort_out7 820 2150 515原创 2017-07-21 11:01:45 · 829 阅读 · 0 评论 -
hadoop 常见问题
hadoop安装时遇到了好多问题,现在闲着无事,回过头来总结一波,现在用的是伪分布式(分布式安装好了,发现电脑同时运行三个虚拟机很伤,伪分布已足够学习用,所以果断卸载),发现当你遇见问题时,还是问度娘来的快,等你解决后,学习一段时间,回头看看这些问题,可能明白了许多!hadoop安装主要是以下几大步骤:教程:http://dblab.xmu.edu.cn/blog/install-hado原创 2017-06-03 19:29:24 · 537 阅读 · 0 评论 -
Hbase的配置问题
今天配置Hbase,发现配置后HMaster、HRegionServer总是无法启动,弄了好久,最后才发现问题!通过查看日志发现: 原来是我的ip不对,之前是静态ip192.168.200 后来被我设置成自动分配ip了,但是hadoop的一些配置文件里有些可能用到的还是之前的ip,导致无法访问到,所以,改成原来的ip后,问题就解决了,HMaster、HregionServe原创 2017-06-04 20:59:52 · 435 阅读 · 0 评论 -
knn手写图像识别
https://paste.ubuntu.com/p/xTyp6kmhfz/原创 2018-09-05 21:34:36 · 302 阅读 · 0 评论