- 博客(11)
- 资源 (23)
- 收藏
- 关注
原创 换个眼界,换种心情
大家刚看我博客的时候肯定会好奇,为什么要起这个昵称呢,难道你会签名设计不成??? 在下不才,曾经在大学期间做过一段时间的签名设计,也就是小打小闹,体验了下过程罢了,不过经历还是值得回忆的。 以下是我的一些作品,不为别的,就为作为IT的我们换个眼界,没必要整天眼中都是代码什么的,放松一下心情吧。登录新浪微博可...
2017-07-23 15:30:44 1134
原创 MapReduce功能实现七---小综合(多个job串行处理计算平均值)
复杂的MapReduce处理中,往往需要将复杂的处理过程,分解成多个简单的Job来执行,第1个Job的输出做为第2个Job的输入,相互之间有一定依赖关系。下面以求平均值为例1. 求Sum2. 求Count3. 计算平均数[hadoop@h71 q1]$ vi ceshi.txt28832353027[hadoop@h71 q1
2017-07-28 11:21:22 2056
原创 MapReduce功能实现六---最大值(Max)、求和(Sum)、平均值(Avg)
一、最大值(Max)情况1:[hadoop@h71 q1]$ vi ql.txtaa 11122 555[hadoop@h71 q1]$ hadoop fs -put ql.txt /inputjava代码:import java.io.IOException;import org.apache.hadoop.conf.Configuration; import
2017-07-27 09:17:20 16716 2
原创 MapReduce功能实现五---去重(Distinct)、计数(Count)
一、去重类似于db中的select distinct(x) from table , 去重处理甚至比WordCount还要简单[hadoop@h71 q1]$ vi hello.txthello worldhello hadoophello hivehello hadoophello worldhello world[hadoop@h71 q1]$ hadoop fs -
2017-07-26 09:27:15 13161
原创 MapReduce功能实现四---小综合(从hbase中读取数据统计并在hdfs中降序输出Top 3)
方法一:在Hbase中建立相应的表1:create 'hello','cf'put 'hello','1','cf:hui','hello world'put 'hello','2','cf:hui','hello hadoop'put 'hello','3','cf:hui','hello hive'put 'hello','4','cf:hui','hello hadoop
2017-07-25 18:05:55 4771
原创 MapReduce功能实现二---排序
一、前N名 TOP-N情况1:创建文件并上传到HDFS中[hadoop@h71 q1]$ vi test.txta 1000b 2000c 90000d 88e 999999f 9998g 13223注意:这里的分隔符是/t(Tab键)而不是空格[hadoop@h71 q1]$ hadoop fs -put test.txt /input
2017-07-25 17:56:53 4459
原创 MapReduce功能实现一---Hbase和Hdfs之间数据相互转换
一、从Hbase表1中读取数据再把统计结果存到表2在Hbase中建立相应的表1:create 'hello','cf'put 'hello','1','cf:hui','hello world'put 'hello','2','cf:hui','hello hadoop'put 'hello','3','cf:hui','hello hive'put 'hello','4','
2017-07-25 10:36:32 16154 3
原创 Myeclipse 8.5 10.x 2013 2014破解
破解补丁下载地址:http://download.csdn.net/detail/m0_37739193/99026761.安装好相应的myeclipse版本,并且暂时不要运行 Myeclipse。2.在下载好的激活补丁目录中,双击cracker.jar运行激活工具(如果双击不能运行,可以双击同目录下的批处理文件run.bat来运行cracker.jar,这里要注意你的Java版本,一开始
2017-07-18 16:41:32 654
原创 Hbase进行RowCount统计
对于Table内RowKey个数的统计,一直是HBase系统面临的一项重要工作,目前有三种执行该操作的方式。测试环境:Apache版的 hadoop-2.6.0 (cdh版的hadoop-2.6.0-cdh5.5.2也可以)Apache版的 hbase-1.0.0 (一开始我用的是cdh版的hbase-1.0.0-cdh5.5.2,结果各种bug,无奈只能用Apache版的
2017-07-18 11:26:32 16414 9
原创 Spark-1.3.1-bin-hadoop2.6安装及RDD基本操作
spark 安装模式:local(本地模式):常用于本地开发测试,本地还分为local单线程和local-cluster多线程standalone(集群模式):典型的Mater/slave模式,不过也能看出Master是有单点故障的;Spark支持ZooKeeper来实现 HAon yarn(集群模式): 运行在 yarn 资源管理器框架之上,由 yarn 负责资源管理,Spark 负
2017-07-10 10:25:14 16124 1
原创 Spark Streaming实战对论坛网站动态行为pv,uv,注册人数,跳出率的多维度分析
论坛数据运行代码自动生成,该生成的数据会作为Producer的方式发送给Kafka,然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息,进而进行多维度的在线分析数据格式如下:date:日期,格式为yyyy-MM-ddtimestamp:时间戳userID:用户IDpageID:页面IDchanelID:板块的IDaction
2017-07-06 17:41:43 6591 1
HDP3.1.5.0+Ambari2.7.5安装部署(Centos7.2)所需的三台Ambari镜像
2023-04-13
Snort_3.0.0-a4-241_on_Ubuntu_14_and_16.pdf
2018-02-09
elasticsearch-2.2.0.tar.gz
2017-09-19
flumee.zip
2017-08-03
winutils.exe
2017-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人