- 博客(16)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
原创 100内的素数
问题:打印出100以内的素数(c/c++) 女友代码:#include<stdio.h>#include<math.h>int prime(int m);int main(void){ int m; for(m=2;m<=100;m++){ if(prime(m)!=0) printf("%6d",m); } prin
2016-10-28 17:05:42 560
原创 hive函数大全
目录一、关系运算: 41. 等值比较: = 42. 不等值比较: <> 43. 小于比较: < 44. 小于等于比较: <= 45. 大于比较: > 56. 大于等于比较: >= 57. 空值判断: IS NULL 58. 非空判断: IS NOT NULL 69. LIKE比较: LIKE 610. JAVA的LIKE操作: RLIKE 61
2016-10-20 19:17:22 744
原创 hive-site.xml的数据库配置文件
配置hive连接数据库的配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionUR
2016-10-20 15:31:25 8063
原创 HIVE基本语法使用
set hive.cli.print.header=true;创建一张表CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') #添加描述 COMMENT '
2016-10-20 12:20:29 3477 1
原创 hive的自定义函数
自定义函数有三种 一:一个输入对应一个输出,比较常用,UDF 二:多个输入对应一个输出,又称为聚合函数,跟count函数类似,名叫UDAF 三:一个输入对应对个输出,即一个输入对应输出一张表,名叫UDTFUDF: 写udf函数的时候需要继承UDF类,并且写至少一个evaluate方法,执行的时候会根据参数的多少调用对应的函数UDAF: 写UDAF的时候需要继承UDAF类,并且需要实现以下方
2016-10-20 11:31:52 635
原创 中文分词器(IK)的配置文件
中文(IK)分词器是在IKAnalyzer分词包中使用的,使用前请自行下载相应的jar包 将这个文件(IKAnalyzer.cfg.xml)放入到src的的目录先,<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <proper
2016-10-15 16:50:36 2499
原创 solr的增删改查加分页的基本使用
solr的增改删查 ,分页 ,高亮package dao;import java.util.List;import java.util.Map;import org.apache.solr.client.solrj.SolrQuery;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.sol
2016-10-15 16:12:15 1997
原创 ssh免密登陆脚本
运行脚本前面需要先配置好/etc/hosts文件的ip映射,这个脚本是根据hosts文件的ip进行免密登陆配置的 密码可以自己修改PWD_1 运行需要联网需要联网#!bin/bash#yum安装expectyum -y install expect#PWD_1是登陆密码,可以自己设定PWD_1=123456ips=$(cat /etc/hosts |grep -v "::" | gre
2016-10-11 20:07:26 2360
原创 MR简单串联(ChainMapper/ChainReducer)
元数据:(商品:价格)维护 23降低实际上低价低价 12合适的话 8328哈市 83299留下 10留下 9问题描述:第一步筛选出价格小于10000的数据 第二步筛选出价格小于100的 第三步合并相同商品的价格 第四部过滤商品名称的长度大于2的代码实现(mr的串联)package chainmapper;import java.io.IOException;import org.ap
2016-10-11 12:07:19 750 1
原创 mr分类输出(MultipleOutputs)
原始数据:[INFO]127.0.0.1 2016-04-14 09:06:33 vi 200[DEBUG]127.0.0.1 2016-04-13 09:06:40 rm 200[FETAL]127.0.0.1 2016-04-12 09:14:54 vi 300[WARNING]127.0.0.1 2016-04-15 09:24:58 vi 200[INFO]127.0.0.1
2016-10-10 22:30:37 779
原创 Sequence小文件合并
把本地的多个小文件合并上传成大文件package sequenceFileText;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.ne
2016-10-10 20:59:34 2173
原创 安装Mysql(rpm包安装)
mysql数据库安装使用rpm包进行安装 需要两个rpm包,一个server 一个client (请自行下载)rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm # i(install) v(显示详情) h(显示进度条) (如果安装上面
2016-10-06 23:02:43 1066
原创 Hbase shell命令简单使用
hbase shell命令的简单使用进入hbase命令行./hbase shell显示hbase中的表list创建user表,包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息,row key为rk0001,列族info中添加name列标示
2016-10-06 11:46:43 5998
原创 mapreduce二次排序
本代码几乎涵盖mapreduce的全部过程package secondarSort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;
2016-10-04 22:22:32 341
原创 sqoop的简单实用
sqoop安装:安装在一台节点上就可以了。1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root
2016-10-03 21:44:44 642
原创 mapreduce之倒排索引代码
倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(inverted file)mr实现(java):package invertedIndex;import java.io.
2016-10-02 20:17:03 747
servlet读取jsp中的file内容
2016-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人