2015年08月_飞鸟zjs

12月 10月 09月 08月 07月 05月 03月 01月

原创如何设置hive与hbase同步

hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、把hive-hbase-handler-1.2.1.jar cp到hbase/lib 下同时把hbase中的所有的jar，cp到hive/lib2、在hive的配置文件增加属性：hive.site.xmlhb

2015-08-30 14:03:28 1278 1

原创广告有效性原型

评价指标：点击率，转换率传统广告策略：

2015-08-29 18:54:05 717

原创计算广告学介绍

什么是广告？广告是由确定的出资人通过各种媒介进行有关产品（产品，服务，和观点）的，通常是有偿的，有组织的，综合的，劝服性的非人员的信息传播活动广告的主体？出资人即广告主，媒介（medium）,受众广告的本质功能？是借助某种有广泛受众的媒体力量，完成较低成本的用户接触（reach）广告的两种（品牌广告，效果广告）品牌广告：通过独特良好的品牌和产品形象，目的在于提升较长时间

2015-08-29 17:24:35 643

转载 linux常用命令

系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示C

2015-08-29 16:32:48 248

转载 github提交可能遇到的问题

Git Push(向远程Github提交本地代码)$ git push git@github.com:hepusheng/linux-2.6.11-study-note.git master // 把本地仓库提交到远程仓库的master分支中$ git remote add origin git@github.com:hepusheng/linux-2.6.11-study-not

2015-08-29 16:08:24 1165

转载 Eclipse配置GitHub代码库（以Windows7为例）

1.安装Git 首先安装git。这里只讲Windows环境下安装Git方法。从Git下载git的Windows安装文件，一路Next到选择安装组件这一步：选上Git Bash Here这一项，这样就有命令行可以用了。因为后面基本上不会用到Git自己的GUI。文章出处：http://blog.csdn.net/twlkyao/articl

2015-08-29 16:02:29 431

原创 MapReduce实现推荐算法（同现矩阵*评分矩阵=推荐结果）

该讲主要是基于ItemCF的物品推荐。1，常用的两大协同过滤算法。a,基于物品的协同过滤算法基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐。简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。b,基于用户的协同过滤算法UserCF基于用户的协同过滤，通过不同用户对物品的评分来评测用户之间的相似性，基于用

2015-08-29 14:54:03 4344 4

转载 eclipse里面使用github插件

1，检查Eclipse中是否已安装Git插件，菜单栏Help -> About Eclipse，查看是否有Git插件的图标。 Eclipse关联GitHub实现版本控制 2 现在的Eclipse下载后一般都提供Git插件了，若是没有Git插件,可以再eclipse 的market里面搜索egit插件安装，如果低版本的eclipse安装高版本的egit插件会报错，建议要么安装低版本的，要么去ec

2015-08-29 12:39:25 879

原创 Hbase优化

1，预分区。因为第一次建表的时候会自动创建一个region分区.如果再倒入数据的话，因为一开始没有数据，不会split切分，这样会对单个region server造成比较大的io开销，所以需要预分区。预分区可以根据热点范围的rowkey来制定分区策略。2，通过rowkey检索数据的时候，需要制定column，这个比较好理解，和关系型数据库的sql优化一样，select *　from table

2015-08-25 19:20:19 582

原创 mapreduce读取hbase中表的数据，直接打印或者回传数据到hbase数据库表

package com.syyz.zjs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put;import or

2015-08-25 18:58:07 1009

转载 HBase表设计原则整理

1、列簇的设计列簇尽量少，最好不超过3个。因为每个列簇是存在一个独立的HFile里的，flush和compaction操作都是针对一个Region进行的，当一个列簇的数据很多需要flush的时候，其它列簇即使数据很少也需要flush，这样就产生的大量不必要的io操作。在多列簇的情况下，注意各列簇数据的数量级要一致。如果两个列簇的数量级相差太大，会使数量级少的列簇的数据扫描效率低下。将经常

2015-08-24 16:03:55 828

转载详细讲解Hadoop中的一个简单数据库HBase

HBase是 Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。数据模型HBase数据库使用了和 Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字，和任意数目的列。表格是稀疏的，所以同一个表格里的行可能有非常不同的列，只要用户喜欢这样做。列名是“:”形式，其中和可以是任意字

2015-08-24 12:47:16 637

转载 Java集合类: Set、List、Map、Queue使用场景梳理

目录1. Java集合类基本概念2. Java集合类架构层次关系3. Java集合类的应用场景代码 1. Java集合类基本概念在编程中，常常需要集中存放多个数据。从传统意义上讲，数组是我们的一个很好的选择，前提是我们事先已经明确知道我们将要保存的对象的数量。一旦在数组初始化时指定了这个数组长度，这个数组长度就是不可变的，如果我们需要保存一个可以动态增长的数

2015-08-23 14:58:12 495

转载 hive优化

优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时

2015-08-23 13:59:03 244

转载深入浅出数据仓库中SQL性能优化之Hive篇

一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MR Job）的优化，下文会分别阐述。在开始之前，先把MR的流程图帖出来（摘自Hadoop权威指南

2015-08-23 13:54:10 292

转载 sql优化

1.查询的模糊匹配尽量避免在一个复杂查询里面使用 LIKE '%parm1%'—— 红色标识位置的百分号会导致相关列的索引无法使用，最好不要用.解决办法:其实只需要对该脚本略做改进，查询速度便会提高近百倍。改进方法如下：a、修改前台程序——把查询条件的供应商名称一栏由原来的文本输入改为下拉列表，用户模糊输入供应商名称时，直接在前台就帮忙定位到具体的供应商，这样在调用

2015-08-23 13:37:37 278

转载 Hive SQL执行计划深度解析

阅读目录1.1 Join的实现原理1.2 Group By的实现原理1.3 Distinct的实现原理2.1 Phase1 SQL词法，语法解析2.2 Phase2 SQL基本组成单元QueryBlock2.3 Phase3 逻辑操作符Operator2.4 Phase4 逻辑层优化器2.5 Phase5 OperatorTree生成MapReduce Job的过程2.6 Phase6 物

2015-08-21 15:09:46 837

原创 mapreduce查询mysql表中记录数

package com.zjs.mr2;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.In

2015-08-20 21:02:30 468

原创 Mapreducer天气排序，分区，分组，排序

package com.zjs.mr2;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.apache.h

2015-08-20 16:48:53 1406

原创 MapReducer实现单词计算

package com.zjs.mr;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Tex

2015-08-20 13:47:50 529

原创 MapReduce 查询mysql表中的数据，打印记录数，并转储回mysql表

package com.laoxiao.mr02;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLEx

2015-08-19 20:35:02 532

转载 Hadoop 调试第一个MapReduce程序过程详细记录总结

开发环境搭建参考 Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境>： http://www.linuxidc.com/Linux/2014-12/111061.htm1，程序代码如下：package wc;import java.io.IOException;import java.util.StringTokenizer;

2015-08-17 19:36:19 929

原创替换centos的yum源

1，可以从阿里的镜像站点里面选中自己的linux版本：http://mirrors.aliyun.com/2，如果是centos可以参看以下方法：1、备份mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载新的CentOS-Base.repo 到/e

2015-08-16 10:56:39 465

原创 ConcurrentHashMap 初认识

1，ConcurrentHashMap是线程安全且高效的HashMap2,为什么要使用ConcurrentHashMap?因为在多线程环境下，使用HashMap进行put操作会引起死循环。HashTable使用synchronized来保证线程安全。但是在线程竞争激烈的情况下。HashTable的效率是很低的。3ConcurrentHashMap的锁分段技术4，Conc

2015-08-15 16:44:45 383

原创 Unable to load native-hadoop library for your platform... using builtin-java classes where applicab

出现上述问题主要是环境变量没设置好，在~/.bash_profile或者/etc/profile中加入以下语句就没问题了。　　#vi /etc/profile或者vi ~/.bash_profile　　　　export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native　　　　export HADOOP_OPTS="-Djava

2015-08-14 13:03:43 767