2018年01月_冰河

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 MySQL之——实现无数据插入，有数据更新

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79210709一、插入一条数据，存在则忽略，不存在就插入（必须现有唯一键）使用insert ignore语句：insert ignore into table(col1,col2) values ('value1','value2');例如插入数据：inser

2018-01-30 21:06:23 6127

转载 Linux之——挂载新硬盘方法

Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器，以root用户登录3.查看硬盘信息#fdisk -lDisk /dev/sda: 42.9 GB, 42949672960 bytes255 heads, 63 sectors/track,

2018-01-29 21:50:57 3077

转载 Hadoop之——本地通过Eclipse链接Hadoop操作MySQL数据库问题小结

前一段时间，在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后，通过Eclipse操作HDFS的时候遇到的一些问题，最近又想进一步学习学习Hadoop操作Mysql数据库的一些知识，在这里网上存在很多分歧，很多人可能会笑话，用那么“笨重”的Hadoop来操作数据库，脑子有问题吧，Hadoop的HDFS优势在于处理分布式文件系统，这种说法没有任何错误，

2018-01-29 21:47:08 1565 1

转载 Kafka之——Kafka配置文件server.properties（三个版本）

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79194929前言其实每个版本都有些许改动，只不过改动大小而已，但是网上的教程都真的太老了，其实更新一下也费不了多少时间 0.9.0# Licensed to the Apache Software Foundation (ASF) under one or mo

2018-01-29 14:27:56 16946 2

原创 Kafka之——replication factor: 1 larger than available brokers: 0 问题解决方案

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79194106一、问题用kfafka命令：./kafka-server-start.sh ../config/server.properties &启动时报以下错误：[2018-01-28 21:54:44,745] ERROR [KafkaApi-100

2018-01-29 13:13:39 8191

原创 Flume之——org/apache/flume/tools/GetJavaProperty : Unsupported major.minor version 52.0

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79193639ng脚本问题，解决办法：增加如下红色字体add_HBASE_paths() { local HBASE_IN_PATH=$(PATH="${HBASE_HOME}/bin:$PATH" \ which hbase 2>/dev/null)...

2018-01-29 11:52:24 2793 1

原创 MongoDB之——MongoDB基本用法（增删改高级查询、mapreduce）

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79190786该示例基于的mongo驱动版本为mongo-2.10.1.jar,用junit写单元测试。TestCase.javapackage com.lyz.mongo; import java.net.UnknownHostExceptio

2018-01-28 23:44:26 6067

原创 Storm之——Storm on Yarn 部署

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/791725731. 环境介绍一、节点与服务映射关系iphost服务192.168.209.121masterNamenode、NodeManager、DataNode、zookeeper192.168.2

2018-01-26 15:59:22 1371

原创 Storm之——实现井字棋游戏(人工智能)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79149418一、下载源码不多说，大家直接到链接http://download.csdn.net/download/l1028386804/10221555下载源码进行研究。二、本地部署这里，我们直接运行Topology可实现本地部署。运行Scorin

2018-01-24 12:38:45 3001

原创 EWMA之——EWMA指数加权移动平均模型的Java实现

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79141435具体代码如下：package com.lyz.storm.ewma;import java.io.Serializable;/** * 实现指数移动平均值计算 * 实现中使用了流式风格的builder API * @author liuya

2018-01-23 16:43:59 6750 1

原创 Kafka之——扩展logback将日志输出到Kafka实例扩展

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79136841一、概述本文基于《Kafka之——扩展logback将日志输出到Kafka实例》，请先阅读《Kafka之——扩展logback将日志输出到Kafka实例》。二、扩展《Kafka之——扩展logback将日志输出到Kafka实例》一文中，只能输出单个字

2018-01-23 10:42:08 4582

原创 Kafka之——扩展logback将日志输出到Kafka实例

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79135948一、Kafka的安装请参见博文《Kafka之——安装并（单节点）配置启动Kafka》、《Kafka之——单机多broker实例集群搭建》、《Kafka之——集群搭建》。注意：本文是基于kafka_2.11-0.9.0.0.tgz、zookeeper-3.

2018-01-23 09:41:31 16393 3

原创 ElasticSearch之——ElasticSearch5.X在CentOS6.5上安装的注意事项

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79134385机器环境 CentOS 6.5 x64 Oracle JDK 1.8系统参数要求 fd 最低需要65536 vm 最低262144 max locked memory最低64执行脚本vim

2018-01-22 22:26:42 1009

原创 Python之——实现自动抢火车票(基于Python3.6+splinter)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79134306splinter使用首先介绍一下splinter使用：plinter.brower是一个开源工具，通过Python自动化测试ｗｅｂ，通过电脑自动操作网页。Splinter模块是python egg，下载当然很简单，安装： pip install

2018-01-22 22:17:52 7816 4

原创 Kafka之——kafka Failed to send messages after 3 tries 问题解决

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79134255远程连接Kafka发送消息的时候出现如下错误kafka Failed to send messages after 3 tries解决这个问题很简单，只需要在{KAFKA_HOME}/conf/server.properties中配置host.name和

2018-01-22 22:11:42 1504

原创 Storm之——Storm整合Kafka pom.xml

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79134236主要依赖如下： org.apache.storm storm-core 0.9.2-incubating org.apache.storm st

2018-01-22 22:06:17 3099

原创 Storm之——利用Trident topology实现预测疾病暴发

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79120204今天，我们一起来实现一个Trident topology收集医学诊断报告来判断是否有疾病暴发的实例。今天，我们和以往的实例有所不同，今天，我们要贯穿整篇文章来实现这个具体的实例，这里，我们会将整个实例拆分成一个个的知识点来具体实现。注意：本文基于Storm

2018-01-21 14:55:38 2012

原创 Storm之——自动化集群配置工具Puppet的类和模块

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79113359使用独立的Puppet mainfest文件很容易定义资源的声明，但这种实现方法在需要管理的资源增多时变得越来越不方面。其实，Puppet有类和模块的概念，可以用来更好的组织和隔离特定的配置详情。考虑到Storm的场景，我们又多个节点的类。举例来说，一个St

2018-01-20 12:21:28 780

原创 Storm之——自动化集群配置工具Puppet

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79113187Puppet（https://puppet.com/）是一个IT自动化框架，用来帮助管理员管理大规模的网络设施资源，使用灵活的、声明式的实现方式来进行IT自动化管理。Puppet的核心是mainfest的概念，它描述了一个设施资源对预期的声明(state)。

2018-01-20 12:08:39 837

转载 Hadoop之——Windows平台下配置hadoop的javahome时空格问题解决

如题。windows 平台中经常遇包含空格的路径。这不在配置 hadoop-env.cmd 就碰到问题了。这个配置文件不能正确处理路径中包含的情况错误的配置1set JAVA_HOME=D:\Program Files\Java\jdk1.8.0_05错误的配置2set JAVA_HOME="D:\Program Files\Java\jdk1.8.0_05"正确配置有人说重装 jdk ... 我

2018-01-18 23:13:49 2803 4

原创 Hadoop之——hadoop java.lang.UnsatisfiedLinkError: no hadoop in java.library.path(基于Hadoop2.9.0)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79095290将hadoop.dll放入C:\Windows\System32目录下即可

2018-01-18 13:52:12 3915

转载 Hadoop之——Could not locate executable null 解决办法

文章来自http://www.aboutyun.com/thread-8030-1-1.html问题导读：1.建一个MapReduce Project，运行时发现出问题：Could not locate executable null，该如何解决？2.Could not locate executabl ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.e

2018-01-17 22:05:05 12148 1

原创 Hadoop之——Maven环境搭建

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79090443其实很简单，直接创建一个Maven项目，pom.xml中加入如下配置即可： org.apache.hadoop hadoop-hdfs 2.9.0 org.apache.hadoop hadoop-client 2.

2018-01-17 21:55:35 2104

原创 Java之——slf4j与log4j整合

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79083829不多说，Maven配置如下即可： org.slf4j slf4j-log4j12 1.7.2

2018-01-17 12:15:48 1743

原创 python之——CentOS 6.5安装Python setuptools2.6

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79069295在 PyPI 可以找到 setuptools 的安装文档：http://pypi.python.org/pypi/setuptools下载setuptools-0.6c11-py2.6.egg也可以到链接：http://download.cs

2018-01-15 21:59:11 2536

原创 Python之——网站文件或接口访问统计

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79057819一、场景描述数据源准备工作详见博文《Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)》。通过统计网站文件的访问次数可以帮助运维人员了解访问最集中的文件，以便进行有针对性的优化，比如调整静态文件过期策略，优化cgi的执

2018-01-14 17:50:37 2303

原创 Python之——网站访问来源IP统计

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79057671一、场景描述数据源准备工作详见博文《Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)》。统计用户的访问来源IP可以更好的了解用户的分布，同时也可以帮助安全人员捕捉攻击来源。实现的原理是：定义匹配IP正则，将匹配到的字

2018-01-14 17:20:43 3118

原创 Python之——网站分钟级请求数统计

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79057521一、场景描述数据源准备工作详见博文《Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)》。一个网站的请求量大小，直接关系到网站的访问质量，有必要对该数据进行分析且关注，本实例一分钟为单位对网站的访问数进行统计。二、

2018-01-14 16:59:29 2173

原创 Python之——网站HTTP状态码统计

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79057362一、场景描述数据源准备工作详见博文《Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)》。统计一个网站的HTTP状态码比例数据，可以帮助我们了解网站的可用度及健康状态，比如我们关注的200、404、5xx状态等。在此示例中

2018-01-14 16:36:13 1493

原创 Python之——网站访问流量统计

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056976一、场景描述数据源准备工作详见博文《Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)》。网站访问流量作为衡量一个站点的价值、热度的重要标准，另外，在CDN服务中心流量会涉及计费，如何快速准确分析当前站点的流量数据至关重要

2018-01-14 15:56:30 7308

原创 Python之——自动上传本地log文件到HDFS(基于Hadoop 2.5.2)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056674一、场景描述比如我们的网站共有5台Web设备，日志文件存放在/data/logs/日期(20180114)/access.log。日志为默认的Nginx定义格式，如下所示：10.2.2.234 - - [12/Jan/2018:08:36:23 +0800...

2018-01-14 15:10:22 3912 1

原创 Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79056120一、环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建Hadoop环境请参考博文《Python之——使用原生Python编写Hadoop MapReduce程序(基于Hadoop 2.5.2) 》的内容Mrjob(http:

2018-01-14 14:15:18 4622

原创 Python之——使用原生Python编写Hadoop MapReduce程序(基于Hadoop 2.5.2)

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79055459一、简单说明本例中我们实现一个统计文本文件中所有单词出现的词频功能，这里我们使用原生的Python来编写MapReduce。同时，本例中我们将要输入的单词文本input.txt和Python脚本放到/usr/local/python/source目录下。文本

2018-01-14 11:49:16 8338

原创 Python之——/usr/bin/python^M: bad interpreter: No such file or directory

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79055410在windows系统下写的python脚本，在linux下赋予权限chmod +x xxx.py 以后，执行./xxx.py运行提示：bash: /usr/bin/autocrorder: /usr/bin/python^M: bad interpreter

2018-01-14 10:59:42 6791

原创 Python之——Func的安装

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79051930一、服务器规划二、安装Func1、主控端服务器安装主控端部署在主机liuyazhuang121上，用过yum方式安装，如下：# yum install func -y# /sbin/chkconfig --level 345 cer

2018-01-13 16:32:09 2323

原创 Python之——Saltstack的安装

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79051200一、服务器规划二、安装EPEL目前，RHEL官网yum源还没有Saltstack的安装包支持，因此先安装EPEL作为部署Saltstack的默认yum源。RHEL(CentOS 5)版本：rpm -Uvh下载地址为:http://mirror.p

2018-01-13 14:51:12 2367

原创 Python之——Ansible常用模块及API

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79050132一、远程命令模块1、功能模块包括command、script、shell，都可以实现远程shell命令运行。command：作为Ansible的默认模块，可以运行远程权限范围所有的shell命令；script: 在远程主机执行主控端存储的shel

2018-01-13 11:15:23 6038 2

原创 Python之——集中化管理平台Ansible环境的安装

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79049837一、服务器规划二、环境安装1、安装EPEL由于目前RHEL官网的yum源还没有得到Ansible的安装包支持，因此先安装EPEL作为部署Ansible的默认yum源。rpm -Uvh http://ftp.linux.ncsu.edu

2018-01-13 10:37:35 1781

原创 Python之——生产环境代码包发布管理

程序生产环境的发布是业务上线最后一个环境，要求具备源码打包、发布、切换、回滚、版本管理等功能，本实例实现了一整套流程，其中版本切换与回滚使用了Linux的软链接来实现。具体代码如下：# -*- coding:UTF-8 -*-'''Created on 2018年1月12日@author: liuyazhuang'''from fabric.api import *from

2018-01-12 12:48:15 3724

原创 Python之——部署LNMP业务服务环境

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79042734上线之前我们要部署相应的环境，往往一个业务涉及多种环境，比如Web、DB、Proxy、Cache等，本实例通过env.roledefs定义不同角色，再使用@roles("webservers")修饰符绑定到对应的任务函数，实现不同角色的主机部署差异。具体代码如下

2018-01-12 12:44:51 1927

Navicat for Premium.rar

Navicat for Premium 15是一款功能十分强大的数据库管理功能类的软件，我们这款软件就是可以在软件中实现数据传输的一个操作，也就是通过这款软件到用户们的数据库就可以自己想要传输的数据进行传输，并且还可以将那些新的数据进行传输到数据库中来使用

2020-07-30

Flume采集Nginx日志到新版Hive.rar

Flume采集Nginx日志到新版Hive，Flume中需要添加的Jar包，各软件版本为：Hadoop 3.2.0、Flume 1.9.0、Hive 3.1.2、Nginx 1.17.2。

2019-09-20

Servlet3.1规范（中文最终版）

Servlet3.1规范中文最终版，可以参考实现Servlet异步请求与回调机制

2019-09-08

Flume采集Nginx日志到Hive.rar

Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件，具体使用方式可参见博文：https://blog.csdn.net/l1028386804/article/details/97975539

2019-08-01

Apache标准Log，Hive测试使用

Apache标准Log，Hive测试使用，有冰河大神亲自整理，具体使用请参考博文：https://blog.csdn.net/l1028386804/article/details/88617592

2019-03-17

glibc-2.14 Hadoop专属glib

升级glib解决Hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 和 SequenceFile doesn't work with GzipCodec without native-hadoop code 问题，具体请参见博文：https://blog.csdn.net/l1028386804/article/details/88420473

2019-03-12

avro-1.8.1

运行Sqoop报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/LogicalType，下载此资源放到Sqoop的lib目录下即可

2019-02-28

Python2.7的scapy安装

python2.7安装scapy的工具包，由冰河大神整理分享，欢迎下载使用

2019-02-18

freefloatftpserver1.0 漏洞重现

freefloatftpserver1.0 漏洞重现 ,freefloatftpserver1.0安装程序，并冰河大神亲自整理

2019-02-14

BSPlayer V2.68 + 渗透脚本

BSPlayer V2.68 + 渗透脚本，由冰河大神亲自整理发出

2019-01-17

php-utility-belt

学习php-utility-belt的远程代码执行漏洞，由冰河大神整理

2019-01-17

PCMan-FTP+溢出脚本

PCMan-FTP+溢出脚本,实战渗透PcMan-FTP，由冰河大神亲自整理奉献

2019-01-17

VulnServer

Vulnserver是一款Windows服务器应用程序，其中包含一系列可供利用的缓冲区溢出漏洞，旨在为大家在学习和实践基本的fuzzing、调试以及开发技能方面提供必要的辅助。关于Vulnserver的更多信息，例如下载链接等

2019-01-16

Easy File Sharing Web Server 7.2

Easy File Sharing Web Server 是一种允许访客容易地经由浏览器上传/下载文件的文件分享系统.

2019-01-15

ImmunityDebugger

Immunity Debugger软件专门用于加速漏洞利用程序的开发，辅助漏洞挖掘以及恶意软件分析。它具备一个完整的图形用户界面，同时还配备了迄今为止最为强的Python安全工具库。它巧妙的将动态调试功能与一个强大的静态分析引擎融合于一体，它还附带了一套高度可定制的纯pythont图形算法，可用于帮助我们绘制出直观的函数体控制流以及函数中的各个基本块。

2019-01-15

hydra 一键安装包

Hydra一键安装包，内含脚本，直接运行脚本就可以安装了，由冰河大神亲自整理

2019-01-07

免杀端口转发lcx

免杀lcx，下载后尽量不要放在桌面或其他敏感的地方解压，以免被360等杀毒软件恶意封杀，程序本身是没毒的，亲测成功。　

2018-11-29

SQL漏洞测试平台

SQL漏洞测试平台，安装WAMP，然后项目部署在WAMP_HOME\apache2\htdocs下，即可。可作为SQL注入漏洞的入门平台

2018-11-19

sqoop1.46和1.47

sqoop框架开发工具使用的jar，目前版本有1.4.6和1.4.7两个jar包，启动Sqoop时，抛出异常：Error: Could not find or load main class .usr.local.sqoop-1.4.7.sqoop-1.4.7.jar 则可以下载资源将sqoop-1.4.7.jar放到sqoop的lib目录下重新启动，问题解决

2018-09-12

基于java开发的功能强大、配置灵活的数据库之间的同步工具

基于java开发的功能强大、配置灵活的数据库之间的同步工具源码，具体解析详见博文：https://blog.csdn.net/l1028386804/article/details/80341251

2018-05-16

《Spring IOC核心技术》- 冰河原创电子书

这是一本专注讲解Spring IOC最核心的知识的电子书，从简单的使用案例到深度解析源码，只讲Spring IOC最核心的知识，让你知其然，更知其所以然。涵盖：AnnotationConfigApplicationContext、组件添加、组件赋值、组件注入。说起Spring，绝对是Java开发领域的佼佼者，试问，做Java开发的有谁不知道Spring？做Java开发的又有谁没用过Spring?又有哪家公司在Java Web项目中没使用过Spring？就算有，那也应该很少吧！所以，骚年，如果你选择了Java开发这条不归路，你就必须牢牢掌握Spring！如果小伙伴们还在用Spring的基础框架，例如：Spring、SpringMVC、MyBatis，也就是传说中的SSM，来整合开发的时候，可能会大量的写配置文件。那么，在SpringBoot和SpringCloud兴起之后，Spring的注解驱动就用的非常多了！其中，会用到非常多的注解。为了能够更加深刻的理解这些注解的原理，更好的使用这些注解提高我们的工作效率。这里，我结合实际工作中使用Spring的一些经验，向大家分享下如何使

2023-01-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Navicat for Premium.rar

Flume采集Nginx日志到新版Hive.rar

Servlet3.1规范（中文最终版）

Flume采集Nginx日志到Hive.rar

Apache标准Log，Hive测试使用

glibc-2.14 Hadoop专属glib

avro-1.8.1

Python2.7的scapy安装

freefloatftpserver1.0 漏洞重现

BSPlayer V2.68 + 渗透脚本

php-utility-belt

PCMan-FTP+溢出脚本

VulnServer

Easy File Sharing Web Server 7.2

ImmunityDebugger

hydra 一键安装包

免杀端口转发lcx

SQL漏洞测试平台

sqoop1.46和1.47

基于java开发的功能强大、配置灵活的数据库之间的同步工具

《Spring IOC核心技术》- 冰河原创电子书

冰河的渗透实战笔记-冰河.pdf

Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件

深入理解高并发编程（冰河原创电子书）

中国象棋游戏源码.rar

FastDFS6.06完整安装包

MySQL8.0.19安装包

jnative.rar

流程引擎（Flowable+Activiti）

nexus-2.11.2-03-bundle.rar

Navicat For MongoDB 15.0.6

linux库：compat-libstdc++-33-3.2.3-61

商城数据库SQL脚本文件.rar

MySQL各版本my.cnf配置文件.rar

MySQL 8.0.18源码安装包.rar

升级gcc与cmake所需的安装文件.rar

VMWare安装MacOS的unlocker.rar

vmware虚拟机苹果补丁

CentOS6.8 64位安装镜像.rar

性能测试工具（postman+ab+jmeter）.rar

空空如也