- 博客(72)
- 资源 (131)
- 收藏
- 关注
原创 Hadoop之——自定义排序算法实现排序功能
要求首先按照第一列升序排列,当第一列相同时,第二列升序排列;不多说直接上代码1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org
2015-05-31 13:48:54 5374
原创 Hadoop之——自定义分组比较器实现分组功能
不多说,直接上代码,大家都懂得1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapred
2015-05-31 13:27:02 4313
原创 Hadoop之——MapReduce实现从海量数字信息中获取最大值
通过Hadoop的自定义排序算法可实现从海量数字中获取最大值,不多说,直接上代码1、Mapper类的实现 static class MyMapper extends Mapper{ long max = Long.MIN_VALUE; protected void map(LongWritable k1, Text v1, Context context) throws ja
2015-05-31 12:54:02 4744
原创 JS之——回调函数的简单应用(插曲)
JS无疑是前端页面与服务端交互数据的强大语言,那么如何利用JS的回调函数来封装JS的网络请求呢,本文就来简单说明这一问题一、创建一个index.html文件页面内容随便定义,重点是要引入如下自定义的两个js文件,一个是constants.js一个是validate.js二、创建constants.js文件/** * Created by liuyazhuang on 20
2015-05-30 15:47:54 1909 1
原创 Hadoop之——Partitioner编程
一、Mapper类的实现 static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException ,InterruptedException {
2015-05-28 22:37:18 1687
原创 Hadoop之——Combiner编程
一、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数,固定值1 */ static class MyMapper extends Mapper{ protected void map(LongWr
2015-05-28 22:11:30 1969
原创 Terracotta之——实现基于Tomcat的Web应用集群
准备Terracotta svn: http://svn.terracotta.org/svn/forge/projects/转载:http://blog.163.com/comfort_122/blog/static/48904409201131145149530/ http://www.javaeye.com/topic/88466 http://www.java
2015-05-28 17:17:42 2327
原创 Hadoop之——自定义计数器
1、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数,固定值1 */ static class MyMapper extends Mapper{ protected void map(LongWr
2015-05-28 00:01:09 2630
原创 Hadoop之——命令行运行时指定参数
本文旨在提供一个Hadoop在运行的时候从命令行输入要统计的文件路径和统计结果的输出路径,不多说直接上代码1、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数,固定值1 */ sta
2015-05-27 23:18:45 4899
原创 JAVA之——获取来访者IP、浏览器版本、系统版本、主机名、Mac地址等信息(插曲)
不多说,直接上代码package com.cdsmartlink.utils.system;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.InetAddress;import java.net.UnknownHostException;import java.util.r
2015-05-27 17:45:37 24624 16
原创 JAVA之——DES加密解密(插曲)
直接上代码,大家都懂的package com.cdsmartlink.des;import java.security.*;import javax.crypto.Cipher;import javax.crypto.SecretKey;import javax.crypto.SecretKeyFactory;import javax.crypto.spec.DESKeySpec;
2015-05-27 17:29:35 1833
原创 MySQL之——service mysql start出错,mysql启动不了,解决mysql: unrecognized service错误(插曲)
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46048485service mysql start出错,mysql启动不了,解决mysql: unrecognized service错误的方法如下:[root@ctohome.com ~]# service mysqld startmysql: unrecogn...
2015-05-27 16:27:10 24504 1
原创 MySQL之——mysql命令行备份数据库(插曲)
MySQL数据库使用命令行备份|MySQL数据库备份命令例如:数据库地址:127.0.0.1数据库用户名:root数据库密码:pass数据库名称:myweb 备份数据库到D盘跟目录mysqldump -h127.0.0.1 -uroot -ppass myweb > d:/backupfile.sql 备份到当前目录 备份MySQL数据库为带删除
2015-05-27 16:19:30 1536
原创 Hadoop之——使用hadoop自定义类型处理手机上网日志
不多说,直接上代码package com.lyz.hadoop.count;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Pat
2015-05-27 14:46:06 1442 1
原创 PHP之——DES加解密函数 与JAVA兼容(插曲)
PHP可以使用mcrypt_encrypt进行DES加密与解密,但实际上操作,你会发现它与JAVA的DES加密出来的字符串,有些不同。基本上是前半段一样,后半段不一样。找到PHP官方网站上对这个函数的文档,有人回复了,并给出了代码。经测,这样加密解密就跟JAVA中的兼容了。<?php function encrypt($str, $key){ $block = mcrypt_ge
2015-05-27 12:37:46 2189
原创 PHP之——CentOS下php安装mcrypt扩展(插曲)
(以下步骤均为本人实际操作,可能与你的安装方法有所区别,但我会尽量排除疑惑)大致步骤(1)安装mcrypt,(2)安装php对mcrypt的扩展,(3)重启apache(1)、确认你的linux没有安装mcrypt库,如果已安装,跳过安装步骤[root@test-206 ~]# yum list installed|grep mcryptlibmcrypt.x86_64
2015-05-27 12:17:15 4330
原创 PHP之——PHPExcel 基本用法详解(插曲)
1.headerheader("Content-Type:application/vnd.ms-excel");header("Content-Disposition:attachment;filename=sample.xls");header("Pragma:no-cache");header("Expires:0");2.PHPExcelhttp://www.codep
2015-05-27 11:25:18 1844
原创 Hadoop之——有趣问答(一)
问:在eclipse中的写的代码如何提交作业到JobTracker中的哪?答:(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); (2)在connect()方法中,实际上创建了一个JobCli
2015-05-27 00:18:16 1863
原创 Hadoop之——数据类型
一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当中的key或value为空时使用二、Hadoop自定义数据类型实例
2015-05-27 00:02:42 3476
原创 Tomcat之——Tomcat运行php的简单方法(插曲)
Quercus是Caucho公司采用纯Java开发的一个PHP5引擎。基于开源授权协议GPL发布。Quercus自带很多个PHP模块和扩展如PDF,PDO,MySQL和JSON。可以利用这个引擎在一些JavaEE应用容器(Resin,GlassFish等)中运行PHP程序,也可以在PHP脚本中调用一些Java服务如JMS。Quercus会预先把PHP文件编译成.java文件,然后再执行。
2015-05-26 17:17:23 3193
原创 Hadoop之——以1.x版本和0.x版本分别实现单词统计功能
本文提供一个以Hadoop MapReduce方式统计文本中每个单词的数量的例子,不多说,直接上代码package com.lyz.hadoop.count;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org
2015-05-25 23:45:27 2049
原创 Java之——Spring与RMI集成实现远程访问(插曲)
使用Spring对RMI的支持,可以非常容易地构建你的分布式应用。在服务端,可以通过Spring的org.springframework.remoting.rmi.RmiServiceExporter可以暴露你的服务;在客户端,通过org.springframework.remoting.rmi.RmiProxyFactoryBean可以使用服务端暴露的服务,非常方便。这种C/S模型的访问方式,可
2015-05-25 17:41:41 1860
原创 Java之——RMI远程过程调用(插曲)
一、定义 Java RMI:Java远程方法调用,即Java RMI(Java Remote Method Invocation)是Java编程语言里,一种用于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。远程方法调用特性使Java编程人员能够在网络环境中分布操作。RMI全部的宗旨就是尽可能简化远程接口对象的使用。 我们知道
2015-05-25 16:58:37 2803
原创 JavaWeb之——使用Session防止表单重复提交(插曲)
在平时开发中,如果网速比较慢的情况下,用户提交表单后,发现服务器半天都没有响应,那么用户可能会以为是自己没有提交表单,就会再点击提交按钮重复提交表单,我们在开发中必须防止表单重复提交。 一、表单重复提交的场景有如下的form.jsp页面 Form表单 用户名: form表单提交到D
2015-05-25 13:13:31 2175
原创 Hadoop之——MapReduce实战(二)
MapReduce的老api写法import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapred.FileInputFormat;import org.apache.hadoop.mapred.FileOutputFormat;import org.apache.hadoop.mapred.JobClient;impo
2015-05-24 23:09:15 2338
原创 Hadoop之——MapReduce实战(一)
MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。 这两个函数的形参是key、value对,表示函数的输入信息。MR执行流程MapReduce原理
2015-05-24 22:41:50 5222
原创 Android之——任意时刻从子线程切换到主线程的实现(插曲)
一、引入 在Android开发中常常会遇到网络请求,数据库数据准备等一些耗时的操作;而这些操作是不允许在主线程中进行的。因为这样会堵塞主线程导致程序出现未响应情况。所以只能另起一个子线程进行这些耗时的操作,完成后再显示到界面。众所周知,界面等控件操作只能在主线程中完成;所以不可避免的需要从子线程切换到主线程。二、方法 对于这样的情况在Android 中
2015-05-24 13:04:53 3599
原创 Hadoop之——前期准备篇
一、Hadoop核心项目 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架二、HDFS的架构 主从结构 主节点,只有一个: namenode 从节点,有很多个: datanodes namenode负责: 接收用户操作请求 维护文件系统的目录结构 管理文
2015-05-24 12:16:43 1694
原创 Hadoop之——FileSystem与NameNode通信示意图
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45935387
2015-05-23 16:34:12 1851
原创 Hadoop之——RPC通信实例
一、 RPC(remote procedure call) 不同java进程间的对象方法的调用。 一方称作服务端(server),一方称作客户端(client)。 server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端。 RPC是hadoop框架运行的基础。二、通过rpc小例子获得的认识 1.服务端提供的对象必须是一个接口,接
2015-05-22 23:50:46 2868
原创 Hadoop之——HDFS操作实例
本文通过两种方式来讲解hadoop中对HDFS文件系统的操作,第一种方式是命令行,第二种方式是通过java代码来实现。 一、命令行方式:hadoop fs xxx hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的
2015-05-22 21:35:31 10571 2
原创 Hadoop之——VMware Virtual Ethernet Adapter for VMnet1和8在windows7无法识别的解决方法
情况:VMware NetworkAdapter VMnet1和VMnet8 被防火墙认定为[未识别的网络-公用网络],阻隔,无法使用端口映射,虚拟机的80端口无法传入,数据包只能出不能入。这样会造成NAT连接时候明明显示连接了却上不了网络。 我用的系统: Windows7 x64 虚拟机:VMware-workstation-full-9.0.2-1031769解决方法:
2015-05-22 11:43:23 5564
原创 Hadoop之——HDFS随笔
1.对hdfs的操作方式:hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的 hadoop fs -mkdir /d1 在hdfs上创建文件夹d1 hadoop fs -put 把数据从linux上传到hdfs的特定路径中 hadoop
2015-05-21 20:19:58 1591
原创 Hadoop之——HDFS
Hadoop 主要由HDFS和MapReduce 引擎两部分组成。最底部是HDFS,它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎,该引擎由JobTrackers 和TaskTrackers组成。 一、HDFS基本概念 1、数据块HDFS默认的最基本的存储单位是64M的数据块,这个数据块可以理解和一般的文件里面的
2015-05-19 20:06:06 1746
原创 Hadoop之——计算机网络端口的定义
端口介绍本文所述端口都是逻辑意义上的端口,是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。我们这里将要介绍的就是逻辑意义上的端口。 A、按端口号分布划分 (1)知名端口(Well-Known Ports)知名端口即众所周知的端口号,范围从0到1023,这些端口号一般固定分配给一些服务。比如21
2015-05-18 14:17:26 2048
原创 Hadoop之—— Linux搭建hadoop环境(简化篇)
1、安装JDK(此处以安装JDK1.6为例,具体安装JDK的版本不限) (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK sudo apt-get install sun-java6-jdk (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容 export JAVA_HOME = (Java安装目录)
2015-05-16 21:48:19 3095
原创 Hadoop之——HDFS命令
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从
2015-05-16 17:13:28 2230
原创 Hadoop之——伪分布安装
1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 chkconfig ipt
2015-05-16 17:06:48 1460
原创 Hadoop之——Linux基本命令回顾
1.通过远程工具登陆到linux后,所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录,使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中,如果文件使用“.”
2015-05-16 17:01:54 2187
原创 Hadoop之——Hadoop2.2.0分布式集群安装
一、安装系统虚拟软件 : VMware workstation 10系统: Centos 6.4 32bitMaster IP : 192.168.56.131Slave IP : 192.168.56.132User & pass: hadoop注:一台充当master(namenode),一台充当slave(datanode)。这是最小
2015-05-15 19:18:24 2555
Navicat for Premium.rar
2020-07-30
Flume采集Nginx日志到新版Hive.rar
2019-09-20
Flume采集Nginx日志到Hive.rar
2019-08-01
Apache标准Log,Hive测试使用
2019-03-17
glibc-2.14 Hadoop专属glib
2019-03-12
avro-1.8.1
2019-02-28
freefloatftpserver1.0 漏洞重现
2019-02-14
VulnServer
2019-01-16
Easy File Sharing Web Server 7.2
2019-01-15
ImmunityDebugger
2019-01-15
sqoop1.46和1.47
2018-09-12
基于java开发的功能强大、配置灵活的数据库之间的同步工具
2018-05-16
《Spring IOC核心技术》- 冰河原创电子书
2023-01-28
冰河的渗透实战笔记-冰河.pdf
2021-05-18
Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件
2021-05-12
深入理解高并发编程(冰河原创电子书)
2021-04-28
FastDFS6.06完整安装包
2021-04-13
MySQL8.0.19安装包
2021-04-10
流程引擎(Flowable+Activiti)
2020-07-28
nexus-2.11.2-03-bundle.rar
2020-06-15
Navicat For MongoDB 15.0.6
2020-06-13
linux库:compat-libstdc++-33-3.2.3-61
2020-04-20
MySQL各版本my.cnf配置文件.rar
2020-01-12
MySQL 8.0.18源码安装包.rar
2019-11-23
升级gcc与cmake所需的安装文件.rar
2019-11-23
CentOS6.8 64位安装镜像.rar
2019-11-16
性能测试工具(postman+ab+jmeter).rar
2019-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人