2016年10月_韩利鹏

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月

原创 100内的素数

问题：打印出100以内的素数（c/c++）女友代码：#include<stdio.h>#include<math.h>int prime(int m);int main(void){ int m; for(m=2;m<=100;m++){ if(prime(m)!=0) printf("%6d",m); } prin

2016-10-28 17:05:42 552

原创 hive函数大全

目录一、关系运算： 41. 等值比较: = 42. 不等值比较: <> 43. 小于比较: < 44. 小于等于比较: <= 45. 大于比较: > 56. 大于等于比较: >= 57. 空值判断: IS NULL 58. 非空判断: IS NOT NULL 69. LIKE比较: LIKE 610. JAVA的LIKE操作: RLIKE 61

2016-10-20 19:17:22 727

原创 hive-site.xml的数据库配置文件

配置hive连接数据库的配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionUR

2016-10-20 15:31:25 7972

原创 HIVE基本语法使用

set hive.cli.print.header=true;创建一张表CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') #添加描述 COMMENT '

2016-10-20 12:20:29 3457 1

原创 hive的自定义函数

自定义函数有三种一：一个输入对应一个输出，比较常用，UDF 二：多个输入对应一个输出，又称为聚合函数，跟count函数类似，名叫UDAF 三：一个输入对应对个输出，即一个输入对应输出一张表，名叫UDTFUDF: 写udf函数的时候需要继承UDF类，并且写至少一个evaluate方法，执行的时候会根据参数的多少调用对应的函数UDAF: 写UDAF的时候需要继承UDAF类，并且需要实现以下方

2016-10-20 11:31:52 616

原创中文分词器（IK）的配置文件

中文（IK）分词器是在IKAnalyzer分词包中使用的，使用前请自行下载相应的jar包将这个文件（IKAnalyzer.cfg.xml）放入到src的的目录先，<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <proper

2016-10-15 16:50:36 2475

原创 solr的增删改查加分页的基本使用

solr的增改删查，分页，高亮package dao;import java.util.List;import java.util.Map;import org.apache.solr.client.solrj.SolrQuery;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.sol

2016-10-15 16:12:15 1982

原创 ssh免密登陆脚本

运行脚本前面需要先配置好/etc/hosts文件的ip映射，这个脚本是根据hosts文件的ip进行免密登陆配置的密码可以自己修改PWD_1 运行需要联网需要联网#!bin/bash#yum安装expectyum -y install expect#PWD_1是登陆密码，可以自己设定PWD_1=123456ips=$(cat /etc/hosts |grep -v "::" | gre

2016-10-11 20:07:26 2338

原创 MR简单串联（ChainMapper/ChainReducer）

元数据：（商品：价格）维护 23降低实际上低价低价 12合适的话 8328哈市 83299留下 10留下 9问题描述：第一步筛选出价格小于10000的数据第二步筛选出价格小于100的第三步合并相同商品的价格第四部过滤商品名称的长度大于2的代码实现（mr的串联）package chainmapper;import java.io.IOException;import org.ap

2016-10-11 12:07:19 722 1

原创 mr分类输出（MultipleOutputs）

原始数据：[INFO]127.0.0.1 2016-04-14 09:06:33 vi 200[DEBUG]127.0.0.1 2016-04-13 09:06:40 rm 200[FETAL]127.0.0.1 2016-04-12 09:14:54 vi 300[WARNING]127.0.0.1 2016-04-15 09:24:58 vi 200[INFO]127.0.0.1

2016-10-10 22:30:37 768

原创 Sequence小文件合并

把本地的多个小文件合并上传成大文件package sequenceFileText;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.ne

2016-10-10 20:59:34 2135

原创安装Mysql（rpm包安装）

mysql数据库安装使用rpm包进行安装需要两个rpm包，一个server 一个client （请自行下载）rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm # i(install) v(显示详情) h(显示进度条) （如果安装上面

2016-10-06 23:02:43 1050

hbase shell命令的简单使用进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示

2016-10-06 11:46:43 5938

原创 mapreduce二次排序

本代码几乎涵盖mapreduce的全部过程package secondarSort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;

2016-10-04 22:22:32 332

原创 sqoop的简单实用

sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root

2016-10-03 21:44:44 634

原创 mapreduce之倒排索引代码

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)mr实现（java）：package invertedIndex;import java.io.

2016-10-02 20:17:03 724