- 博客(8)
- 资源 (67)
- 问答 (12)
- 收藏
- 关注
RSS订阅原创 hadoop案例实现之WordCount （计算单词出现的频数）
一、编写java代码，实现map函数以及reduce函数package com.paic.elis.test;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;impo
2016-02-15 16:41:21
1838
原创 微信红包随机算法初探
最近看了一篇文章，讲微信红包随机算法的。感觉很不错，所以自己实现了下，并进行了简单测试。 算法 算法很简单，不是提前算好，而是抢红包时计算： 红包里的金额怎么算？为什么出现各个红包金额相差很大？ 答：随机，额度在0.01和剩余平均值*2之间。 实现 实现上述算法的逻辑主要是：package com.paic.elis.test;import java.util.Random;
2016-02-14 11:40:33
1504
原创 HDFS中的文件访问权限
针对文件和目录，HDFS有与POSIX（可移植操作系统界面）非常相似的权限模式。 一共提供三类权限模式：只读权限（r），写入权限（w）和可执行权限（x）。读取文件或列出目录内容时需要只读权限。写入一个文件，或是在一个目录上创建以及删除文件或目录，需要写入权限。对于文件而言，可执行权限可以忽略。因为你不能在HDFS中执行文件（与POSIX不同），但是在访问一个目录的子项时需要改权限。
2016-02-06 10:19:48
4012
原创 hadoop中的一些概念——数据流
数据流 首先定义一些属于。MapReduce作业（job）是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务，map任务和reduce任务。 有两类节点控制着作业执行过程，：一个jobtracker以及一系列tasktracker。jobtracker通过调度taskt
2016-02-05 14:04:44
1708
原创 【详细】如何将Java源码打包成可执行的jar文件（windows&linux系统都是可以执行的）
首先，打开Eclipse，之后选中你要打包的项目，右键，export。 其次，选择要导出的类型。 点击Next。 选择产生manifest文件，并指定主类。 点击finsh完成。之后你便可以看到生成的jar文件。 查看生成的manifest.mf文件： Manifest-Version: 1.0 Cla
2016-02-04 17:06:23
3166
原创 使用Hadoop分析数据——简单案例java语言编程之MaxTemperature
为了充分发挥Hadoop提供的并行处理优势，我们需要将查询表示成MapReduce作业。经过一些本地的小规模测试，我们将能够在集群设备上运行Hadoop。 Map阶段和reduce阶段 MapReduce任务过程被分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键/值对作为输入和输出，并由程序员选择他们的类型。程序员还需要具体定义两个函数：map函数和reduc
2016-02-04 16:18:27
7895
1
原创 如何使用Java语言实现一个网页爬虫
网络上有许多信息，我们如何自动的获取这些信息呢？没错，网页爬虫~! 在这篇博文中，我将会使用java语言一步一步的编写一个原型的网页爬虫，其实网页爬虫并没有它听起来那么难。紧跟我的教程，我相信你会在马上学会，一个小时应该可以搞定，之后你就可以享受你所获得的大量数据。这次所编写的是最简单的教程，可以说是网页爬虫的hello world程序， 由于仅仅是原型，之后你要花更多的时间来研究并未自己
2016-02-02 22:29:05
11228
9
原创 我们为什么需要MapReduce？
我们为什么需要MapReduce？ 我们为什么不能使用数据库来对大量磁盘上的大规模数据进行批量分析呢？我们为什么要使用MapReduce？ 这些问题的答案来自磁盘的另一个发展趋势： 寻址时间的提高远远慢于传输速率的提高。寻址是将磁头移动到特定磁盘位置进行读写操作的过程。它是导致磁盘操作延迟的主要原因，因而传输速率取决于磁盘的带宽。 如果数据的访问模式中包含大量的磁盘寻
2016-02-01 15:46:40
2778
生产者消费者问题.ppt
2021-02-14
多生产者多消费者软件课设报告.doc
2021-02-14
同样的sql，用select * 和select id 结果竟然不一样
2019-10-28
【ibatis】sql的返回类型与java接受类型不一致竟然不报错！
2017-10-17
Myeclipse引入项目后JSP文件中报错，棘手。。
2015-10-16
为什么是这个样子呢，兄弟，不信你看。。。
2015-09-29
这个题目怎么做啊，，类似高中但是又是大学算法的题目
2015-09-29
这究竟是怎么回事。。Interger
2015-09-23
eclipse怎么实现点击一个变量，它的所有变量都会显示标记出来
2015-09-12
java如何查询变量的大小，求解
2015-09-12
有点难的字符串的匹配问题
2015-09-12
同一进程的各个线程可以共享哪些内容？
2015-09-07
浏览器和服务器在基于https进行请求链接到数据传输过程中，用到了哪些技术（多选）？
2015-09-07
Mysql中设置表的外键的时候报错
2015-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人