2016年03月_07H_JH

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 Hive实践

准备wget http://mirror.bit.edu.cn/apahce/hive/hive-0.11.0/hive-0.11.0-bin.tar.gztar -zxvf hive-0.11.0-bin.tar.gzcd hive-0.11.0-binsudo vi /etc/profile - export HIVE_HOME=/usr/hive-0.11.0-bin - export

2016-03-31 11:40:55 628

原创 Hash分析

列表内容 Hash表中的一些原理/概念，及根据这些原理/概念，自己设计一个用来存放/查找数据的Hash表，并且与JDK中的HashMap类进行比较。我们分一下七个步骤来进行。 Hash表概念在Hash表中，记录在表中的位置和其关键字之间存在着一种确定的关系。这样我们就能预先知道所查关键字在表中的位置，从而直接通过下标找到记录。 1) 哈希(Hash)函数是一个映象，即：将关键字的

2016-03-25 18:29:06 1596

原创使用Spark框架中文分词统计

技术 Spark+中文分词算法对爬取的网站文章的关键词进行统计，是进行主题分类，判断相似性的一个基础步骤。例如，一篇文章大量出现“风景”和“酒店”之类的词语，那么这篇文章归类为“旅游”类的概率就比较大。而在关于“美食”的文章中，“餐厅”和“美味”等词语出现的频率一般也会比较大。分词使用语言云http://www.ltp-cloud.com实现对一段中文先进行分词，然后通过Spar

2016-03-25 18:22:07 4711

原创编程技巧

编程技巧javaC++C++比如在判断两个浮点数 a 和 b 是否相等时，不要用 a==b，应该判断二者之差的绝对值 fabs(a-b) 是否小于某个阈值，例如 1e-9。判断一个整数是否是为奇数，用 x % 2 != 0，不要用 x % 2 == 1，因为 x 可能是负数。用 char 的值作为数组下标（例如，统计字符串中每个字符出现的次数），要考虑到 char 可能是负数。有的

2016-03-25 17:55:37 593