自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

似水流年

  • 博客(8)
  • 资源 (25)
  • 收藏
  • 关注
全部文章> 2017年07月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 关于UUID导致数据同步异常（org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com）

1、异常概述及其分析过程在大数据同步过程中，为了数据分析同步并按天更新到关系型数据中（以MYSQL为例）且保证数据的唯一性，采用UUID所谓的永远不会重复的字符串作为数据表的ID。但在实际操作由于数据处理基数超大（数亿的数据量），加上UUID版本选择不恰当。致使UUID出现小概率事件重复，最终导致数据同步发生异常。异常如下图一图22、解决方案有图一所

2017-07-24 17:10:24 1778

转载 hive的查询注意事项以及优化总结

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... from Ajoin Bon

2017-07-20 16:12:08 475

转载 spark1.6.0集群安装

转载：1. 概述本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用Spark集群。 2. 安装环境本安装说明的示例环境部署如下：IP外网IPhostname备注10.47.110.38120.27.153.137

2017-07-05 20:26:40 828

原创 python爬虫源码

爬虫：https://git.oschina.net/xiyouMc/pornhubbot

2017-07-05 19:33:40 675

转载 hive的row_number()、rank()和dense_rank()的区别以及具体使用

转载：http://blog.csdn.net/qq_20641565/article/details/52841345?locationNum=5&fps=1row_number()、rank()和dense_rank()这三个是Hive内置的分析函数，下面我们来看看他们的区别和具体的使用案例。首先创建一个文件test：A,1B,3C,2D,3E,4F,

2017-07-05 09:35:00 1481

转载 HBase详细概述（推荐）

声明： 本人只是把好的东西分享，没有别的目的，敬请原作谅解，在此要感谢作者转载：http://blog.csdn.net/u010270403/article/details/51648462本文首先简单介绍了Hbase,然后重点讲述了hbase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBase Sh

2017-07-03 10:47:00 1579 1

转载 hive 优化（推荐）

常用调优测试语句 ： ①显示当前hive环境的参数值：set 参数名;如：  hive> set mapred.map.tasks;mapred.map.tasks;②设置hive当前环境的参数值，但仅对本次连接有效set 参数名 = 值;如：hive> set mapred.map.tasks;mapred.map.tasks=2;

2017-07-03 09:49:27 541

转载 Hive原理

转载：http://sishuok.com/forum/blogPost/list/6220.html第一部分：Hive原理 为什么要学习Hive的原理 •一条Hive HQL将转换为多少道MR作业 •怎么样加快Hive的执行速度 •编写Hive HQL的时候我们可以做什么 •Hive 怎么将HQL转换为MR作业 •Hive会采用什么样的优化方式

2017-07-02 21:55:15 687

PPT资源库----模板
PPT资源库----模板

2021-07-14

wireshark-v3.4.2.zip
运行换进：win64 抓包：TCP报文 主要用到的过滤指令： tcp.port == 80 || udp.port == 80 ip.addr == 192.168.1.57 and not tcp.port in {80 25}

2021-04-20

cmake-3.11.4-win64-x64.msi
windows7 版的cmake安装包

2021-04-01

自定义的gsoap头文件station.h
Gsoap的头文件示例

2021-03-27

gsoap_2.8.74.zip
C++ WebService开发辅助工具

2021-03-27

rapidxml.zip
适用于windows环境C++读取xml文件，rapidxml依赖库

2021-03-24

shell脚本案例-俄罗斯方块
该脚本需要在Linux-centos系统中运行，需要安装格式转换工具 dos2unix； 改脚本对于shell初学者来说是不错案例选择，仅用619行脚本代码，写出了有趣的小游戏； 环境：Centos7.x 1.dos2unix安装 yum -y install dos2unix 2.格式转换： dos2unix square.sh 3.执行脚本 sh square.sh 备注：该脚本本人已经验证过。如有疑问请关注微信公众号：“IT菜籽U”搜索"（八）Linux系统-shell基础--脚本执行方式"，有详细的介绍;

2021-03-01

gsoap2.8.11&2.8.1双版本.txt
linux:centos7.x 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装步骤：https://blog.csdn.net/xiaoshunzi111/article/details/113444209

2021-02-05

gsoap2.8.11离线安装包
适用于centos7.X 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装：https://blog.csdn.net/xiaoshunzi111/article/details/113444209 ./configure --prefix=/usr/local/gSOAP make make install 。。。

2021-02-05

yum离线安装包(真实有效)
以用于Centos7.X.； 内核版本：Linux localhost.localdomain 3.10.0-1160.15.2.el7.x86_64 #1 SMP Wed Feb 3 15:06:38 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 安装步骤： 1.解压缩：unzip yum离线安装包.zip 2. rpm -ivh yum-plugin-fastestmirror-1.1.31-53.el7.noarch.rpm --nodeps 。。。

2021-02-05

PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz
本资源为编译openssl库时所需要的辅助编译工具，ActivePerl5.24.3_X64，Nasm2.14rc15_X64，本人已经过实际项目验证

2020-11-03

NVIDIA-Linux-x86_64-418.88.run
NVIDIA-Linux-x86_64显卡驱动，适用于RTX2060显卡的设备。只需要将改软件copy到Ubuntu16.04LTS系统下./NVIDIA-Linux-x86_64-418.88.run然后一步步操作即可；安装完毕后可通过nvidia-smi 查看是否安装成功；

2020-09-02

Ubuntu16.04 openssh安装包
Ubuntu16.04 1.安装解压缩 sudo dpkg -i *.deb 2.执行 sudo ps -e |grep ssh 有 sshd 说明ssh服务已经启动。 如果没有 执行 sudo systemctl ssh start 默认端口22若需要修改，执行 sudo gedit /etc/ssh/sshd_config

2020-07-16

全栈性能java网络爬虫从入门到精通实战.pdf
全面总结概括爬虫的基本原理以及应用，特别是对java有一定基础的人更容易上手。由于它在业界得到广泛的认可的是爬虫爱好者必备的武功秘籍。

2020-05-26

Ubuntu操作系统ssh安装包
安装包中包含里ssh所有依赖包，包括openssh-server_7.2p2-4ubuntu2.8_amd64.deb、 openssh-sftp-server_7.2p2-4ubuntu2.8_amd64.deb 和openssh-client_7.2p2-4ubuntu2.8_amd64.deb等在内，使用于Ubuntu16.04LTS环境；一键安装：dgbk -i *.deb

2020-05-25

VS2013-64位
VS2013是C++开发者最常用的编译工具，由于他能够与win系列系统无缝兼容，被C++开发者广泛认可；VS2013工具安全可靠稳定

2020-05-10

SoapUI-x32-5.4.0.exe
SoapUI-x32-5.4.0是32二位的接口调试工具，可用于WebService协议接口对接调试，本人已经验证过，安全，可用。

2020-04-13

qt-opensource-linux-x64-5.7.1.run
本资源适用于Linux之Ubuntu16+ LTS系统环境，Linux环境下是C++的开发集成工具。qt-opensource-linux-x64-5.7.1.run。郑重声明：本资源已经经过实际项目验证。

2020-03-26

qt-opensource-linux-x64-5.5.1.run
本资源适用于Linux之Ubuntu16+ LTS系统环境，Linux环境下是C++的开发集成工具。qt-opensource-linux-x64-5.5.1.run。郑重声明：本资源已经经过实际项目验证。

2020-03-26

curl-7.49.0.tar.gz
本资源适用于Linux之Ubuntu16+ LTS，curl离线安装包中库文件，可用于基于http数据传输协议C++语言开发应用。亲测，安全可靠。郑重声明：凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

libevent-2.0.21-stable.tar.gz
本安装包基本Linux之Ubuntu16 LTS环境压缩包-libevent-2.0.21-stable.tar.gz，适用于C++ 开发语言值http协议。其中libevent库文件集成了evhttp高并发多延迟框架的库文件。经过实际的项目验证，安全可靠。 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

Linux libevent2.1安装包
本安装包基本Linux之Ubuntu16 LTS环境压缩包-libevent-2.1.11-stable.tar.gz，适用于C++ 开发语言值http协议。其中libevent库文件集成了evhttp高并发多延迟框架的库文件。经过实际的项目验证，安全可靠。 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-26

redis505.rar
redis5.05.tar.gz安装包，支持Linux CentOS7安装，安装简单实用，并支持C++程序调用，亲测过可用！ 凡通过本人上传的资源，全部是经过实际项验证过的。

2020-03-04

支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出.txt
支持VMWare Esxi6.7虚拟机操作系统，VMware-ovftool-4.3.0.x86_64。用于企业大容量（20G亲测）OVF导出。 凡通过本人上传的资源，全部是经过实际项验证过的。

2019-11-05

GDI开发包，C++绘图工具包
包括：gdiplus.h，gdiplus.lib，动态链接库的.dll文件：gdiplus.dll

2018-09-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除