2016年10月_mustbesomebody

12月 11月 10月 09月 08月 07月 04月 03月 01月

转载 Hive metastore database is not initialized. Please use schematool（...） to create the schema.

同样遇见问题，这篇文章解决了 http://blog.csdn.net/xiaoshunzi111/article/details/51906049 一：问题：Exception in thread “main” java.lang.RuntimeException: Hive metastore database is not initialized. Please use schem

2016-10-31 00:34:34 649

转载 hive 配置 mysql时的问题（Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

这篇文章解决了问题，转载自:http://blog.csdn.net/lanchunhui/article/details/50858092 因为 Hive 的映射工具——metastore，默认存放在 derby 中，而derby数据库的一大缺陷在于其不支持并发访问（早期的hive是这样）。当我们使用MySQL 作为其远程仓库时，自然需要修改相关配置文件。（其实所谓的默认配置，即是配置

2016-10-31 00:33:03 481

原创 Hadoop 2.x 多表关联

需求是将这样的两个文件关联起来文件address: addressID addressname 1 Beijing 2 Guangzhou 3 Shenzhen 4 Xian 文件factory: factoryname addresseID Bejing Red Star 1 Shenzhen Thunder 3 Guangzhou Honda 2 Beijing Rising 1 G

2016-10-16 23:36:59 465

原创 Hadoop 2.x 单表关联

需求是:从下面的文本文件中，得到grandchild--grandparent的关系 child parent Tom Jack Tom Lily Jack Lilei Lilei Some Lucy Some huangpeng zhouaiqiong zhouaiqiong

2016-10-06 13:16:17 395

思路：文本文件也是一行一个单词这样的，那排序的不同在于，默认的shuffer阶段的排序是根据map阶段传入的key值进行排序，整形那就升序排序，字符串就按位比较acsll码大小，那这样在这里是不行的，因为每个reduce上进行的是自己的排序，而无法保证全局上的排序。所以在分配给reduce的前，需要自定义partition类，将同一个数据区间的key传入到同一个reduce中，那么每个reduce

2016-10-06 00:25:08 374

原创 Hadoop2.x 数据去重

数据是这样的文本文件，一行为一个单词如: words.txt aa aaa b xxx s v words2.txt: aa bb aaa bbb ddddd d 代码和单词计数没有太大差别，例如map阶段传入的key为行标,value为这一行所对应的单词, 只要将单词作为key传入下一步骤（shuffle阶段，此阶段默认做了数据排序，分类，combiler的工作), value可以随

2016-10-06 00:13:30 437

原创 Hadoop 2.x完全分布式安装

最近将虚拟机上的hadoop1.x删除了,装上了2.x，这是安装教程转载自:http://www.tuicool.com/articles/aIzUV3 一、环境我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学，可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。现在有三台服务器，分配如下： 10.0.1.10

2016-10-04 17:41:35 405

原创 Hadoop WordCount

版本一：默认使用Split类方法去做，这样做就是默认一行一行去解析，map阶段 key传入的为行标，value传入的为这一行的值这种情况只适合于有超多行，但每一行不太长的情况下面贴代码: 文本文件words.txt aaa bbb ccc ddd eee fff 文本文件words2.txt aa bb aaaa aaa ccc casdasd 11 2 3 11 222 3

2016-10-04 16:04:03 281

html5编程PDF版本

html5编程.pdf

2013-03-06

离散数学 2000题解

很详细的离散数学书，我自己在用

2012-11-21

MFC教程.chm

MFC (Microsoft Foundation Class Library)中的各种类结合起来构成了一个应用程序框架，它的目的就是让程序员在此基础上来建立Windows下的应用程序，这是一种相对SDK来说更为简单的方法。因为总体上，MFC框架定义了应用程序的轮廓，并提供了用户接口的标准实现方法，程序员所要做的就是通过预定义的接口把具体应用程序特有的东西填入这个轮廓。Microsoft Visual C++提供了相应的工具来完成这个工作：AppWizard可以用来生成初步的框架文件（代码和资源等）；资源编辑器用于帮助直观地设计用户接口；ClassWizard用来协助添加代码到框架文件；最后，编译，则通过类库实现了应用程序特定的逻辑。

2012-09-21

汇编程序设计教程.chm

《汇编语言》(Assembly Language)是计算机专业中一门重要的基础课程，是一种面向机器的低级语言。它依赖于硬件，能通过巧妙的程序设计充分发挥硬件的潜力。汇编语言程序产生的代码运行效率高。因此，到目前为止，许多软件系统(例如操作系统等)的核心部分仍然用汇编语言来编写。计算机专业所培养的学生，不应仅仅满足于利用他人已开发出来的软件和软件工具来解决实际问题，还应具备有分析、研究原有软件系统，改进、完善、提高原有系统功能供广大用户使用的能力。汇编语言程序设计将使学生受到更严密、更系统的程序设计及其思维方法的训练，为深入分析、研究、开发新的软件系统打下良好的训练基础。本课程的教学目的是使学生进一步了解计算机的基本组成，汇编指令的格式和使用方法，以及用汇编语言进行程序设计的基本思想和方法。于此同时，希望学生能了解用汇编语言程序来充分发挥计算机性能的基本思想。本课程的学习也将为后续课程(如操作系统、接口与通信、计算机外围设备等)的学习提供必要的前期知识。