2016年10月_qq_26091271

转载最小二乘法

1.最小二乘法的背景这种东东的来源，比较容易找到而且比较靠谱的途径自然是wiki百科了，以下部分的内容来自wiki百科： 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯

2016-10-30 22:24:39 327

转载机器学习算法

1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断，而C4.5采用的是增益率。详细介绍链接：http://blog.csdn.net/androidlushangderen/article/details/423958652.CART算法。CART算法的全称是分类回归树算法，他是一个二元分类，采用

2016-10-17 19:49:08 297

转载 Hbase solr 二级索引

背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。原理：基于Solr的HBase多条件查询原理很简单，

2016-10-14 11:16:39 893

转载 Hdfs 压缩

文件的压缩有两大好处：1、可以减少存储文件所需要的磁盘空间；2、可以加速数据在网络和磁盘上的传输。尤其是在处理大数据时，这两大好处是相当重要的。　　下面是一个使用gzip工具压缩文件的例子。将文件/user/hadoop/aa.txt进行压缩，压缩后为/user/hadoop/text.gz1 package com.hdfs; 2 3 import java.io.

2016-10-08 10:30:13 291

转载 hadoop 压缩（1）

1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个g

2016-10-08 10:24:52 219

转载 hive HQL

Hive提供了很多的函数，可以在命令行下show functions罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过describe function functionName 查看函数使用方法。hive支持的数据类型很简单就INT(4 byte integer),BIGINT(8 byte integer),FLOAT(single precision)

2016-10-06 11:48:07 321

转载 shell 命令

1、脚本之间传递参数 "1.sh"的脚本，接受参数。如下，如果有一个参数则赋值个sourceFile这个变量，否则用默认值。 Shell代码 #!/bin/bash LANG=en_US.UTF-8 #get parameters sourceFile="/data/log/abc" if [ $# == 1 ] th

2016-10-06 11:46:10 561

摩西YF拉比