2015年05月_冰河

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop之——自定义排序算法实现排序功能

要求首先按照第一列升序排列，当第一列相同时，第二列升序排列；不多说直接上代码1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org

2015-05-31 13:48:54 5373

原创 Hadoop之——自定义分组比较器实现分组功能

不多说，直接上代码,大家都懂得1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapred

2015-05-31 13:27:02 4312

原创 Hadoop之——MapReduce实现从海量数字信息中获取最大值

通过Hadoop的自定义排序算法可实现从海量数字中获取最大值，不多说，直接上代码1、Mapper类的实现 static class MyMapper extends Mapper{ long max = Long.MIN_VALUE; protected void map(LongWritable k1, Text v1, Context context) throws ja

2015-05-31 12:54:02 4744

原创 JS之——回调函数的简单应用（插曲）

JS无疑是前端页面与服务端交互数据的强大语言，那么如何利用JS的回调函数来封装JS的网络请求呢，本文就来简单说明这一问题一、创建一个index.html文件页面内容随便定义,重点是要引入如下自定义的两个js文件，一个是constants.js一个是validate.js二、创建constants.js文件/** * Created by liuyazhuang on 20

2015-05-30 15:47:54 1909 1

原创 Hadoop之——Partitioner编程

一、Mapper类的实现 static class MyMapper extends Mapper{ protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException ,InterruptedException {

2015-05-28 22:37:18 1687

原创 Hadoop之——Combiner编程

一、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数，固定值1 */ static class MyMapper extends Mapper{ protected void map(LongWr

2015-05-28 22:11:30 1968

原创 Terracotta之——实现基于Tomcat的Web应用集群

准备Terracotta svn: http://svn.terracotta.org/svn/forge/projects/转载：http://blog.163.com/comfort_122/blog/static/48904409201131145149530/ http://www.javaeye.com/topic/88466 http://www.java

2015-05-28 17:17:42 2324

原创 Hadoop之——自定义计数器

1、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数，固定值1 */ static class MyMapper extends Mapper{ protected void map(LongWr

2015-05-28 00:01:09 2624

原创 Hadoop之——命令行运行时指定参数

本文旨在提供一个Hadoop在运行的时候从命令行输入要统计的文件路径和统计结果的输出路径，不多说直接上代码1、Mapper类的实现 /** * KEYIN 即k1 表示行的偏移量 * VALUEIN 即v1 表示行文本内容 * KEYOUT 即k2 表示行中出现的单词 * VALUEOUT 即v2 表示行中出现的单词的次数，固定值1 */ sta

2015-05-27 23:18:45 4898

原创 JAVA之——获取来访者IP、浏览器版本、系统版本、主机名、Mac地址等信息（插曲）

不多说，直接上代码package com.cdsmartlink.utils.system;import java.io.BufferedReader;import java.io.InputStreamReader;import java.net.InetAddress;import java.net.UnknownHostException;import java.util.r

2015-05-27 17:45:37 24620 16

原创 JAVA之——DES加密解密（插曲）

直接上代码，大家都懂的package com.cdsmartlink.des;import java.security.*;import javax.crypto.Cipher;import javax.crypto.SecretKey;import javax.crypto.SecretKeyFactory;import javax.crypto.spec.DESKeySpec;

2015-05-27 17:29:35 1833

原创 MySQL之——service mysql start出错，mysql启动不了，解决mysql: unrecognized service错误（插曲）

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46048485service mysql start出错，mysql启动不了，解决mysql: unrecognized service错误的方法如下：[root@ctohome.com ~]# service mysqld startmysql: unrecogn...

2015-05-27 16:27:10 24503 1

原创 MySQL之——mysql命令行备份数据库（插曲）

MySQL数据库使用命令行备份|MySQL数据库备份命令例如：数据库地址：127.0.0.1数据库用户名：root数据库密码：pass数据库名称：myweb 备份数据库到D盘跟目录mysqldump -h127.0.0.1 -uroot -ppass myweb > d:/backupfile.sql 备份到当前目录备份MySQL数据库为带删除

2015-05-27 16:19:30 1536

原创 Hadoop之——使用hadoop自定义类型处理手机上网日志

不多说，直接上代码package com.lyz.hadoop.count;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Pat

2015-05-27 14:46:06 1442 1

原创 PHP之——DES加解密函数与JAVA兼容（插曲）

PHP可以使用mcrypt_encrypt进行DES加密与解密，但实际上操作，你会发现它与JAVA的DES加密出来的字符串，有些不同。基本上是前半段一样，后半段不一样。找到PHP官方网站上对这个函数的文档，有人回复了，并给出了代码。经测，这样加密解密就跟JAVA中的兼容了。<?php function encrypt($str, $key){ $block = mcrypt_ge

2015-05-27 12:37:46 2183

原创 PHP之——CentOS下php安装mcrypt扩展（插曲）

（以下步骤均为本人实际操作，可能与你的安装方法有所区别，但我会尽量排除疑惑）大致步骤（1）安装mcrypt，（2）安装php对mcrypt的扩展，（3）重启apache（1）、确认你的linux没有安装mcrypt库，如果已安装，跳过安装步骤[root@test-206 ~]# yum list installed|grep mcryptlibmcrypt.x86_64

2015-05-27 12:17:15 4328

原创 PHP之——PHPExcel 基本用法详解（插曲）

1.headerheader("Content-Type:application/vnd.ms-excel");header("Content-Disposition:attachment;filename=sample.xls");header("Pragma:no-cache");header("Expires:0");2.PHPExcelhttp://www.codep

2015-05-27 11:25:18 1844

原创 Hadoop之——有趣问答（一）

问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); (2)在connect()方法中，实际上创建了一个JobCli

2015-05-27 00:18:16 1862

原创 Hadoop之——数据类型

一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当中的key或value为空时使用二、Hadoop自定义数据类型实例

2015-05-27 00:02:42 3475

原创 Tomcat之——Tomcat运行php的简单方法（插曲）

Quercus是Caucho公司采用纯Java开发的一个PHP5引擎。基于开源授权协议GPL发布。Quercus自带很多个PHP模块和扩展如PDF，PDO，MySQL和JSON。可以利用这个引擎在一些JavaEE应用容器(Resin,GlassFish等)中运行PHP程序，也可以在PHP脚本中调用一些Java服务如JMS。Quercus会预先把PHP文件编译成.java文件，然后再执行。

2015-05-26 17:17:23 3189

原创 Hadoop之——以1.x版本和0.x版本分别实现单词统计功能

本文提供一个以Hadoop MapReduce方式统计文本中每个单词的数量的例子，不多说，直接上代码package com.lyz.hadoop.count;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org

2015-05-25 23:45:27 2048

原创 Java之——Spring与RMI集成实现远程访问（插曲）

使用Spring对RMI的支持，可以非常容易地构建你的分布式应用。在服务端，可以通过Spring的org.springframework.remoting.rmi.RmiServiceExporter可以暴露你的服务；在客户端，通过org.springframework.remoting.rmi.RmiProxyFactoryBean可以使用服务端暴露的服务，非常方便。这种C/S模型的访问方式，可

2015-05-25 17:41:41 1858

原创 Java之——RMI远程过程调用（插曲）

一、定义 Java RMI：Java远程方法调用，即Java RMI（Java Remote Method Invocation）是Java编程语言里，一种用于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。远程方法调用特性使Java编程人员能够在网络环境中分布操作。RMI全部的宗旨就是尽可能简化远程接口对象的使用。我们知道

2015-05-25 16:58:37 2799

原创 JavaWeb之——使用Session防止表单重复提交（插曲）

在平时开发中，如果网速比较慢的情况下，用户提交表单后，发现服务器半天都没有响应，那么用户可能会以为是自己没有提交表单，就会再点击提交按钮重复提交表单，我们在开发中必须防止表单重复提交。一、表单重复提交的场景有如下的form.jsp页面 Form表单用户名： form表单提交到D

2015-05-25 13:13:31 2173

原创 Hadoop之——MapReduce实战（二）

MapReduce的老api写法import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapred.FileInputFormat;import org.apache.hadoop.mapred.FileOutputFormat;import org.apache.hadoop.mapred.JobClient;impo

2015-05-24 23:09:15 2336

原创 Hadoop之——MapReduce实战（一）

MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。MR执行流程MapReduce原理

2015-05-24 22:41:50 5220

原创 Android之——任意时刻从子线程切换到主线程的实现（插曲）

一、引入在Android开发中常常会遇到网络请求，数据库数据准备等一些耗时的操作；而这些操作是不允许在主线程中进行的。因为这样会堵塞主线程导致程序出现未响应情况。所以只能另起一个子线程进行这些耗时的操作，完成后再显示到界面。众所周知，界面等控件操作只能在主线程中完成；所以不可避免的需要从子线程切换到主线程。二、方法对于这样的情况在Android 中

2015-05-24 13:04:53 3596

原创 Hadoop之——前期准备篇

一、Hadoop核心项目 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架二、HDFS的架构主从结构主节点，只有一个: namenode 从节点，有很多个: datanodes namenode负责：接收用户操作请求维护文件系统的目录结构管理文

2015-05-24 12:16:43 1693

原创 Hadoop之——FileSystem与NameNode通信示意图

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/45935387

2015-05-23 16:34:12 1851

原创 Hadoop之——RPC通信实例

一、 RPC(remote procedure call) 不同java进程间的对象方法的调用。一方称作服务端(server)，一方称作客户端(client)。 server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。 RPC是hadoop框架运行的基础。二、通过rpc小例子获得的认识 1.服务端提供的对象必须是一个接口，接

2015-05-22 23:50:46 2867

原创 Hadoop之——HDFS操作实例

本文通过两种方式来讲解hadoop中对HDFS文件系统的操作，第一种方式是命令行，第二种方式是通过java代码来实现。一、命令行方式：hadoop fs xxx hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的

2015-05-22 21:35:31 10567 2

原创 Hadoop之——VMware Virtual Ethernet Adapter for VMnet1和8在windows7无法识别的解决方法

情况：VMware NetworkAdapter VMnet1和VMnet8 被防火墙认定为[未识别的网络-公用网络]，阻隔，无法使用端口映射，虚拟机的80端口无法传入，数据包只能出不能入。这样会造成NAT连接时候明明显示连接了却上不了网络。我用的系统: Windows7 x64 虚拟机：VMware-workstation-full-9.0.2-1031769解决方法：

2015-05-22 11:43:23 5563

原创 Hadoop之——HDFS随笔

1.对hdfs的操作方式：hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的 hadoop fs -lsr / 递归查看hdfs的根目录下的内容的 hadoop fs -mkdir /d1 在hdfs上创建文件夹d1 hadoop fs -put 把数据从linux上传到hdfs的特定路径中 hadoop

2015-05-21 20:19:58 1590

原创 Hadoop之——HDFS

Hadoop 主要由HDFS和MapReduce 引擎两部分组成。最底部是HDFS，它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers组成。一、HDFS基本概念 1、数据块HDFS默认的最基本的存储单位是64M的数据块，这个数据块可以理解和一般的文件里面的

2015-05-19 20:06:06 1746

原创 Hadoop之——计算机网络端口的定义

端口介绍本文所述端口都是逻辑意义上的端口，是指TCP/IP协议中的端口，端口号的范围从0到65535，比如用于浏览网页服务的80端口，用于FTP服务的21端口等等。我们这里将要介绍的就是逻辑意义上的端口。 A、按端口号分布划分（1）知名端口（Well-Known Ports）知名端口即众所周知的端口号，范围从0到1023，这些端口号一般固定分配给一些服务。比如21

2015-05-18 14:17:26 2047

原创 Hadoop之—— Linux搭建hadoop环境（简化篇）

1、安装JDK（此处以安装JDK1.6为例，具体安装JDK的版本不限）　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK　　 sudo apt-get install sun-java6-jdk　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容　　 export JAVA_HOME = （Java安装目录）

2015-05-16 21:48:19 3095

原创 Hadoop之——HDFS命令

1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从

2015-05-16 17:13:28 2230

原创 Hadoop之——伪分布安装

1.1 设置ip地址执行命令 service network restart 验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkconfig ipt

2015-05-16 17:06:48 1459

原创 Hadoop之——Linux基本命令回顾

1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录，使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中，如果文件使用“.”

2015-05-16 17:01:54 2186

原创 Hadoop之——Hadoop2.2.0分布式集群安装

一、安装系统虚拟软件： VMware workstation 10系统： Centos 6.4 32bitMaster IP : 192.168.56.131Slave IP : 192.168.56.132User & pass: hadoop注：一台充当master(namenode)，一台充当slave(datanode)。这是最小

2015-05-15 19:18:24 2554

Navicat for Premium.rar

Navicat for Premium 15是一款功能十分强大的数据库管理功能类的软件，我们这款软件就是可以在软件中实现数据传输的一个操作，也就是通过这款软件到用户们的数据库就可以自己想要传输的数据进行传输，并且还可以将那些新的数据进行传输到数据库中来使用

2020-07-30

Flume采集Nginx日志到新版Hive.rar

Flume采集Nginx日志到新版Hive，Flume中需要添加的Jar包，各软件版本为：Hadoop 3.2.0、Flume 1.9.0、Hive 3.1.2、Nginx 1.17.2。

2019-09-20

Servlet3.1规范（中文最终版）

Servlet3.1规范中文最终版，可以参考实现Servlet异步请求与回调机制

2019-09-08

Flume采集Nginx日志到Hive.rar

Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件，具体使用方式可参见博文：https://blog.csdn.net/l1028386804/article/details/97975539

2019-08-01

Apache标准Log，Hive测试使用

Apache标准Log，Hive测试使用，有冰河大神亲自整理，具体使用请参考博文：https://blog.csdn.net/l1028386804/article/details/88617592

2019-03-17

glibc-2.14 Hadoop专属glib

升级glib解决Hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 和 SequenceFile doesn't work with GzipCodec without native-hadoop code 问题，具体请参见博文：https://blog.csdn.net/l1028386804/article/details/88420473

2019-03-12

avro-1.8.1

运行Sqoop报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/LogicalType，下载此资源放到Sqoop的lib目录下即可

2019-02-28

Python2.7的scapy安装

python2.7安装scapy的工具包，由冰河大神整理分享，欢迎下载使用

2019-02-18

freefloatftpserver1.0 漏洞重现

freefloatftpserver1.0 漏洞重现 ,freefloatftpserver1.0安装程序，并冰河大神亲自整理

2019-02-14

BSPlayer V2.68 + 渗透脚本

BSPlayer V2.68 + 渗透脚本，由冰河大神亲自整理发出

2019-01-17

php-utility-belt

学习php-utility-belt的远程代码执行漏洞，由冰河大神整理

2019-01-17

PCMan-FTP+溢出脚本

PCMan-FTP+溢出脚本,实战渗透PcMan-FTP，由冰河大神亲自整理奉献

2019-01-17

VulnServer

Vulnserver是一款Windows服务器应用程序，其中包含一系列可供利用的缓冲区溢出漏洞，旨在为大家在学习和实践基本的fuzzing、调试以及开发技能方面提供必要的辅助。关于Vulnserver的更多信息，例如下载链接等

2019-01-16

Easy File Sharing Web Server 7.2

Easy File Sharing Web Server 是一种允许访客容易地经由浏览器上传/下载文件的文件分享系统.

2019-01-15

ImmunityDebugger

Immunity Debugger软件专门用于加速漏洞利用程序的开发，辅助漏洞挖掘以及恶意软件分析。它具备一个完整的图形用户界面，同时还配备了迄今为止最为强的Python安全工具库。它巧妙的将动态调试功能与一个强大的静态分析引擎融合于一体，它还附带了一套高度可定制的纯pythont图形算法，可用于帮助我们绘制出直观的函数体控制流以及函数中的各个基本块。

2019-01-15

hydra 一键安装包

Hydra一键安装包，内含脚本，直接运行脚本就可以安装了，由冰河大神亲自整理

2019-01-07

免杀端口转发lcx

免杀lcx，下载后尽量不要放在桌面或其他敏感的地方解压，以免被360等杀毒软件恶意封杀，程序本身是没毒的，亲测成功。　

2018-11-29

SQL漏洞测试平台

SQL漏洞测试平台，安装WAMP，然后项目部署在WAMP_HOME\apache2\htdocs下，即可。可作为SQL注入漏洞的入门平台

2018-11-19

sqoop1.46和1.47

sqoop框架开发工具使用的jar，目前版本有1.4.6和1.4.7两个jar包，启动Sqoop时，抛出异常：Error: Could not find or load main class .usr.local.sqoop-1.4.7.sqoop-1.4.7.jar 则可以下载资源将sqoop-1.4.7.jar放到sqoop的lib目录下重新启动，问题解决

2018-09-12

基于java开发的功能强大、配置灵活的数据库之间的同步工具

基于java开发的功能强大、配置灵活的数据库之间的同步工具源码，具体解析详见博文：https://blog.csdn.net/l1028386804/article/details/80341251

2018-05-16

《Spring IOC核心技术》- 冰河原创电子书

这是一本专注讲解Spring IOC最核心的知识的电子书，从简单的使用案例到深度解析源码，只讲Spring IOC最核心的知识，让你知其然，更知其所以然。涵盖：AnnotationConfigApplicationContext、组件添加、组件赋值、组件注入。说起Spring，绝对是Java开发领域的佼佼者，试问，做Java开发的有谁不知道Spring？做Java开发的又有谁没用过Spring?又有哪家公司在Java Web项目中没使用过Spring？就算有，那也应该很少吧！所以，骚年，如果你选择了Java开发这条不归路，你就必须牢牢掌握Spring！如果小伙伴们还在用Spring的基础框架，例如：Spring、SpringMVC、MyBatis，也就是传说中的SSM，来整合开发的时候，可能会大量的写配置文件。那么，在SpringBoot和SpringCloud兴起之后，Spring的注解驱动就用的非常多了！其中，会用到非常多的注解。为了能够更加深刻的理解这些注解的原理，更好的使用这些注解提高我们的工作效率。这里，我结合实际工作中使用Spring的一些经验，向大家分享下如何使

2023-01-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Navicat for Premium.rar

Flume采集Nginx日志到新版Hive.rar

Servlet3.1规范（中文最终版）

Flume采集Nginx日志到Hive.rar

Apache标准Log，Hive测试使用

glibc-2.14 Hadoop专属glib

avro-1.8.1

Python2.7的scapy安装

freefloatftpserver1.0 漏洞重现

BSPlayer V2.68 + 渗透脚本

php-utility-belt

PCMan-FTP+溢出脚本

VulnServer

Easy File Sharing Web Server 7.2

ImmunityDebugger

hydra 一键安装包

免杀端口转发lcx

SQL漏洞测试平台

sqoop1.46和1.47

基于java开发的功能强大、配置灵活的数据库之间的同步工具

《Spring IOC核心技术》- 冰河原创电子书

冰河的渗透实战笔记-冰河.pdf

Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件

深入理解高并发编程（冰河原创电子书）

中国象棋游戏源码.rar

FastDFS6.06完整安装包

MySQL8.0.19安装包

jnative.rar

流程引擎（Flowable+Activiti）

nexus-2.11.2-03-bundle.rar

Navicat For MongoDB 15.0.6

linux库：compat-libstdc++-33-3.2.3-61

商城数据库SQL脚本文件.rar

MySQL各版本my.cnf配置文件.rar

MySQL 8.0.18源码安装包.rar

升级gcc与cmake所需的安装文件.rar

VMWare安装MacOS的unlocker.rar

vmware虚拟机苹果补丁

CentOS6.8 64位安装镜像.rar

性能测试工具（postman+ab+jmeter）.rar

空空如也