自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

似水流年

  • 博客(17)
  • 资源 (25)
  • 收藏
  • 关注
全部文章> 2016年08月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志

2016-08-31 09:14:23 631

原创 flume采集本地数据到hdfs

配置：agent1.sources = spooldirSourceagent1.channels = fileChannelagent1.sinks = hdfsSinkagent1.sources.spooldirSource.type=spooldiragent1.sources.spooldirSource.spoolDir=/opt/flumeagent1.s

2016-08-30 19:34:20 6470

转载 hadoop报错report: Call From xxx to xxx failed on connect

flume异常日志：hdfs dfsadmin -report，报错如下：“report: Call From slave1.hadoop/192.168.1.106 to namenode:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more detai

2016-08-30 10:05:38 4534

转载 逻辑回归算法--Logistic回归

什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；如果是Poiss

2016-08-26 16:52:24 3144

转载 MapReduce源码分析之InputSplit分析

MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit       InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。Job提交时如

2016-08-26 11:31:58 689

原创 TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit

异常：java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit    at org.apache.hado

2016-08-25 17:06:29 3153

转载 spark知识框架

第1章　Spark数据分析导论　　11．1　Spark是什么　　11．2　一个大一统的软件栈　　21．2．1　Spark Core　　21．2．2　Spark SQL　　31．2．3　Spark Streaming　　31．2．4　MLlib　　31．2．5　GraphX　　31．2．6　集群管理器　　41．3　Spark的用户和用途　　41．3．1　数据科

2016-08-23 11:40:47 1093

转载 CDH（Cloudera）与hadoop（Apache）对比

Cloudera的CDH和Apache的Hadoop的区别  目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Pla

2016-08-17 15:57:16 1013

原创 spark学习网站--不错的资料

http://www.cnblogs.com/shishanyuan/p/4747793.html

2016-08-16 17:21:29 1275

转载 大数据入门，你需要懂这四个常识

一、大数据分析的五个基本方面　　1、可视化分析　　大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。　　2、数据挖掘算法　　大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出

2016-08-15 11:00:26 6470

原创 有这15份资料，立马成为“用户画像”高手！

http://mt.sohu.com/20160518/n450138668.shtml

2016-08-15 09:54:22 1838

转载 linux split命令参数及用法详解---linux分割文件命令

功能说明：分割文件。Split:按指定的行数截断文件格式: split [-n] file [name]参数说明：-n: 指定截断的每一文件的长度，不指定缺省为1000行file: 要截断的文件name： 截断后产生的文件的文件名的开头字母，不指定，缺省为x，即截断后产生的文件的文件名为xaa,xab....直到xzz例一：split -55 myfile ff

2016-08-10 16:49:39 8998

转载 hadoop的mapreduce作业中经常出现Java heap space解决方案

我们经常遇到这样的问题，内存溢出，内存溢出的原因是很简单，不够用了，不够用该怎么设置，通过水设置。可以参考下面案例一、hadoop的mapreduce作业中经常出现Java heap space解决方案常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？”10/01/10 12:48:01 INF

2016-08-10 16:30:20 11409

原创 Scala下载地址

http://distfiles.macports.org/scala2.10/

2016-08-08 10:38:29 7917 2

原创 hive -hiveconf hive.root.logger=DEBUG,console 用这个把日志看看

hive -hiveconf hive.root.logger=DEBUG,console用这个把日志看看

2016-08-04 13:08:09 4736

原创 MR多表关联代码

JoinMain：package com.cys.tables;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import or

2016-08-03 15:07:39 1475

原创 java.nio.channels.SocketChannel[connected local=/192.168.10.51:45306 remote=slave1/192.168.10.51:500

经过日志的初步分析，发现3600s这个线索，从job的configuration中，初步查找出参数dfs.client.socket-timeout，单位毫秒。-Ddfs.client.socket-timeout=3600000试验性地将这个参数修改为60ms，可以看出出现超时的概率非常大，但会不断重试以继续:2014-09-26 12:53:03,184 WARN [main] o

2016-08-02 14:44:55 7251

PPT资源库----模板
PPT资源库----模板

2021-07-14

wireshark-v3.4.2.zip
运行换进：win64 抓包：TCP报文 主要用到的过滤指令： tcp.port == 80 || udp.port == 80 ip.addr == 192.168.1.57 and not tcp.port in {80 25}

2021-04-20

cmake-3.11.4-win64-x64.msi
windows7 版的cmake安装包

2021-04-01

自定义的gsoap头文件station.h
Gsoap的头文件示例

2021-03-27

gsoap_2.8.74.zip
C++ WebService开发辅助工具

2021-03-27

rapidxml.zip
适用于windows环境C++读取xml文件，rapidxml依赖库

2021-03-24

shell脚本案例-俄罗斯方块
该脚本需要在Linux-centos系统中运行，需要安装格式转换工具 dos2unix； 改脚本对于shell初学者来说是不错案例选择，仅用619行脚本代码，写出了有趣的小游戏； 环境：Centos7.x 1.dos2unix安装 yum -y install dos2unix 2.格式转换： dos2unix square.sh 3.执行脚本 sh square.sh 备注：该脚本本人已经验证过。如有疑问请关注微信公众号：“IT菜籽U”搜索"（八）Linux系统-shell基础--脚本执行方式"，有详细的介绍;

2021-03-01

gsoap2.8.11&2.8.1双版本.txt
linux:centos7.x 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装步骤：https://blog.csdn.net/xiaoshunzi111/article/details/113444209

2021-02-05

gsoap2.8.11离线安装包
适用于centos7.X 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装：https://blog.csdn.net/xiaoshunzi111/article/details/113444209 ./configure --prefix=/usr/local/gSOAP make make install 。。。

2021-02-05

yum离线安装包(真实有效)
以用于Centos7.X.； 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装步骤： 1.解压缩：unzip yum离线安装包.zip 2. rpm -ivh yum-plugin-fastestmirror-1.1.31-53.el7.noarch.rpm --nodeps 。。。

2021-02-05

PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz
本资源为编译openssl库时所需要的辅助编译工具，ActivePerl5.24.3_X64，Nasm2.14rc15_X64，本人已经过实际项目验证

2020-11-03

NVIDIA-Linux-x86_64-418.88.run
NVIDIA-Linux-x86_64显卡驱动，适用于RTX2060显卡的设备。只需要将改软件copy到Ubuntu16.04LTS系统下./NVIDIA-Linux-x86_64-418.88.run然后一步步操作即可；安装完毕后可通过nvidia-smi 查看是否安装成功；

2020-09-02

Ubuntu16.04 openssh安装包
Ubuntu16.04 1.安装解压缩 sudo dpkg -i *.deb 2.执行 sudo ps -e |grep ssh 有 sshd 说明ssh服务已经启动。 如果没有 执行 sudo systemctl ssh start 默认端口22若需要修改，执行 sudo gedit /etc/ssh/sshd_config

2020-07-16

全栈性能java网络爬虫从入门到精通实战.pdf
全面总结概括爬虫的基本原理以及应用，特别是对java有一定基础的人更容易上手。由于它在业界得到广泛的认可的是爬虫爱好者必备的武功秘籍。

2020-05-26

Ubuntu操作系统ssh安装包
安装包中包含里ssh所有依赖包，包括openssh-server_7.2p2-4ubuntu2.8_amd64.deb、 openssh-sftp-server_7.2p2-4ubuntu2.8_amd64.deb 和openssh-client_7.2p2-4ubuntu2.8_amd64.deb等在内，使用于Ubuntu16.04LTS环境；一键安装：dgbk -i *.deb

2020-05-25

VS2013-64位
VS2013是C++开发者最常用的编译工具，由于他能够与win系列系统无缝兼容，被C++开发者广泛认可；VS2013工具安全可靠稳定

2020-05-10

SoapUI-x32-5.4.0.exe
SoapUI-x32-5.4.0是32二位的接口调试工具，可用于WebService协议接口对接调试，本人已经验证过，安全，可用。

2020-04-13

qt-opensource-linux-x64-5.7.1.run
本资源适用于Linux之Ubuntu16+ LTS系统环境，Linux环境下是C++的开发集成工具。qt-opensource-linux-x64-5.7.1.run。郑重声明：本资源已经经过实际项目验证。

2020-03-26

qt-opensource-linux-x64-5.5.1.run
本资源适用于Linux之Ubuntu16+ LTS系统环境，Linux环境下是C++的开发集成工具。qt-opensource-linux-x64-5.5.1.run。郑重声明：本资源已经经过实际项目验证。

2020-03-26

curl-7.49.0.tar.gz
本资源适用于Linux之Ubuntu16+ LTS，curl离线安装包中库文件，可用于基于http数据传输协议C++语言开发应用。亲测，安全可靠。郑重声明：凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

libevent-2.0.21-stable.tar.gz
本安装包基本Linux之Ubuntu16 LTS环境压缩包-libevent-2.0.21-stable.tar.gz，适用于C++ 开发语言值http协议。其中libevent库文件集成了evhttp高并发多延迟框架的库文件。经过实际的项目验证，安全可靠。 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

Linux libevent2.1安装包
本安装包基本Linux之Ubuntu16 LTS环境压缩包-libevent-2.1.11-stable.tar.gz，适用于C++ 开发语言值http协议。其中libevent库文件集成了evhttp高并发多延迟框架的库文件。经过实际的项目验证，安全可靠。 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

redis505.rar
redis5.05.tar.gz安装包，支持Linux CentOS7安装，安装简单实用，并支持C++程序调用，亲测过可用！ 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-04

支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出.txt
支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出。 凡通过本人上传的资源，全部是经过实际项验证过的。

2019-11-05

GDI开发包，C++绘图工具包
包括：gdiplus.h，gdiplus.lib，动态链接库的.dll文件：gdiplus.dll

2018-09-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除