- 博客(34)
- 资源 (131)
- 收藏
- 关注
RSS订阅原创 Sqoop之——安装与使用
一、Sqoop的使用----Sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现Sqoop安装：安装在一台节点上就可以了。二、安装Sqoop1.上传Sqoop大家可以到官网http://sqoop.apache.org/ 下载Sqoop并上传到服务器。 2、安装和配置Sqo
2017-10-29 23:39:17
1080
原创 MySQL之——将一个表的字段更新到另一个表中
今天，遇到一个需求是要将MySQL的一个表中的字段更新到另一个表中，开始，我尝试用以下的SQL解决：UPDATE t_order_tempSET price=t_order.amount FROM t_order WHERE t_order_temp.conNumber=t_order.conNo 但是没有成功，MySQL不支持这样的更新操作。修改成如下的SQL语句模型：UPD
2017-10-29 20:13:41
9514
2
原创 Storm之——编程案例
一、程序需求今天，我们再次为大家带来一篇关于Storm的文章，以便为大家起到复习Storm的效果。这篇文章的编程案例基于Maven实现，主要的功能是：从文件读取内容——>切分单词，去掉首尾空格并将单词转化为小写——>统计单词数量并打印结果。好了，明确了程序要实现的功能之后，我们就正式进入Storm的开发。二、程序实现1、创建工程首先我们创建一个Maven工程，编译pom
2017-10-29 11:30:45
3781
1
原创 Kafka之——简单客户端编程
今天，我们给大家带来一篇如何利用Kafka的API进行客户端编程的文章，这篇文章很简单，就是利用Kafka的API创建一个生产者和消费者，生产者不断向Kafka写入消息，消费者则不断消费Kafka的消息。下面是具体的实例代码。一、创建配置类Config这个类很简单，只是存放了两个常量，一个是话题TOPIC，一个是线程数THREADSpackage com.lya.kafka;/**
2017-10-29 11:13:57
1502
原创 Kafka之——集群搭建
一、Zookeeper集群搭建Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。1、软件环境（3台服务器-我的测试）192.168.7.100 server1192.168.7.101 server2192.168.7.107 server31-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超
2017-10-28 13:00:26
2063
原创 Kafka之——单机多broker实例集群搭建
今天，就带着大家一起来实现Kafka集群的搭建，我们直接进入主题吧。Kafka支持两种模式的集群搭建：可以在单机上运行多个broker实例来实现集群，也可在多台机器上搭建集群，这篇博文就给大家介绍下如何实现单机多broker实例集群，其实很简单，只需要如下配置即可。在博文《Kafka之——安装并（单节点）配置启动Kafka》的基础上再经过如下配置，启动多个broker即可。1、拷贝
2017-10-28 12:46:28
7919
1
原创 Java之——后台运行Jar包并设置内存参数
很简单，就一个命令如下：nohup java -Xms800m -Xmx800m -XX:PermSize=256m -XX:MaxPermSize=512m -XX:MaxNewSize=512m -jar 你的jar包 >>/dev/null &
2017-10-26 12:42:38
47122
1
原创 Kafka之——安装并（单节点）配置启动Kafka
1. 下载Kafka从Kafka官网下载最新的Kafka，目前我下载的版本为kafka_2.10-0.8.1.1.tgz2、解压Kafkatar -zxvf kafka_2.10-0.8.1.1.tgz3. 修改Zookeeper服务器配置，并启动cd kafka_2.10-0.8.1.1vi config/zookeeper.properties #修改ZooKe
2017-10-26 00:07:28
7178
原创 Tomcat之—— linux/centos 解决Tomcat内存溢出
Tomcat本身不能直接在计算机上运行，需要依赖于操作系统和一个JAVA虚拟机。JAVA程序启动时JVM会分配一个初始内存和最大内存给APP。当APP需要的内存超出内存的最大值时虚拟机就会提示内存溢出，并且导致应用服务崩溃。一、常见的Java内存溢出有以下三种1. java.lang.OutOfMemoryError: Java heap space 即JVM Heap溢
2017-10-25 21:02:37
4216
原创 Storm之——简单编程案例
一、案例概述今天，就带着大家一起来实现一个简单的Storm实例，这个实例很简单，实现以下功能：我们定义一个数组，比如：String[] words = {"iphone","xiaomi","mate","sony","sumsung","moto","meizu"}; 通过Strom不断输出类似输出以下的结果：IPHONE_itisokXIAOMI_itisokMATE_i
2017-10-24 23:33:13
7196
6
原创 Storm之——配置项详解
Storm配置项详解:配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写
2017-10-24 23:31:55
1241
原创 Storm之——常见问题及解决办法
在做Storm编程时，通常会遇到一些问题，那么，这里就给大家介绍几种常见的问题和对应的解决办法，供大家在日常学习和工作中参考。1. 发布topologies到远程集群时，出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来，可能是storm.yaml文件没有配置，或者配置有问题。解决方法：打开storm.yaml文件正确配置：nimbus.host:
2017-10-24 23:25:36
2510
原创 Storm之——单机环境部署
从这篇博文开始，我们就进入Storm阶段的入门学习，最近，有些小伙伴发来私信说，博文写的太快，有些跟不上了，但是我还是希望大家能够跟上鄙人的速度，我们先把Hadoop生态的各项技术过一遍，把基础的知识串联一下，然后再带着大家深入分析每一项技术的实现细节，到那时，我会带着大家深究每一项技术的实现细节。一、安装Zookeeper1、下载ZookeeperStorm的运行依赖于Zooke
2017-10-23 23:15:19
2773
原创 HBase之——通过Java API与HBase交互
不多说，直接上代码，大家自己看代码分析：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;imp
2017-10-23 22:14:20
5971
1
原创 HBase之——Shell基础操作
今天，接着上一篇博文继续，那么，接下来就给大家带来一篇HBase Shell基础操作的总结，不多说，直接列出HBase Shell基础操作的总结如下：进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info', 'data'create 'user', {NAME => 'i
2017-10-23 21:22:49
973
原创 HBase之——单节点安装
这边博文就带着大家一起学习如何安装HBase，首先，我们来学习如何在单节点上安装HBase，后续会带着大家一起学习如何搭建HBase集群。一、配置服务器主机名和IP映射1、配置主机名vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=liuyazhuang121NTPSERVERARGS=iburst2、配置主机名映射vim
2017-10-22 13:18:39
7747
4
原创 Hive之——自定义函数
今天，就带着大家一起学习如何在Hive中自定义函数，得到自己想要的结果。好了，废话不多说，直接开始。一、自定义函数流程要想在Hive中完成自定义函数的操作，要按照如下的流程进行操作：定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate——>将Java工程上传到Hive所在服务器(我这里是CentOS 6.5)——>启动H
2017-10-22 11:29:21
6236
1
原创 Hive之——Join操作
两个字段，第一个字段是学生名字，第二个是所选课程的ID号，表名叫stuname courseIdzs1,1zs2,2zs3,3zs4,4create table stu(name string, id int) row format delimited fields terminated by ',';load data local inpath '/home/zkpk/te
2017-10-22 10:46:28
1318
原创 Hive之——整合MySQL存储元数据信息及基本操作示例
一、概述Hive在实际工作过程中，需要一个统一的存储媒介来存储元数据信息，这个存储媒介通常可以是MySQL数据，那么如何将Hive的元数据信息存储到MySQL中呢，今天，就带着大家一起学习大数据入门系列的Hive篇——整合MySQL存储元数据信息。二、环境整合1、安装MySQL数据库大家可以参考博文《MySQL之——CentOS6.5 编译安装MySQL5.6.16》或者《MySQ
2017-10-21 14:15:22
3493
原创 Hive之——操作语句整理
#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 second
2017-10-20 00:26:40
4598
原创 Nginx之——Nginx作为TCP负载均衡
这两天考虑mysql的集群，考虑负载均衡，了解nginx在版本1.9.0以后支持tcp的负载均衡，具体可以参照官网关于模块ngx_stream_core_module的叙述nginx从1.9.0后引入模块ngx_stream_core_module，模块是没有编译的，需要用到编译需添加--with-stream配置参数，stream负载均衡官方配置样例worker_processes au
2017-10-18 19:32:25
3131
原创 Mycat之——多Schema配置
对于Mycat的多Schema配置，有些同学还不是很熟悉，那么这里就直接贴出一个配置文件供大家参考select user() select 1 from dualalter session set nls_date_format='yyyy-mm-dd hh2
2017-10-17 20:59:59
6603
原创 CentOS之——CentOS 6.5 安装RTL8111/8168B PCI EXPRESS网卡并解决安装出现的问题
一、查找并分析问题最近，内网服务器更换了主板，总是会出现下面这样的问题：过段时间服务器就会莫名奇妙的连不上了，排除是内部网络的问题，网上有些文章说是：声卡、网卡、Hyper-Threading(超线程)技术的问题，在BIOS中将其关闭即可。但是，我尝试了还是不行，关键是网卡不能关闭呀，关闭了网卡还怎么联网啊。真的有点蛋疼。经过大半天的折腾，突然想起了一个问题：不是更换了主板吗？会不会是
2017-10-17 20:03:50
8671
2
原创 CentOS之——make: *** /lib/modules/2.6.32-431.el6.x86_64/build/: No such file or directory. Stop.
CentOS 6.5上编译r8168-8.037.00网卡驱动的时候报以下错误：make: *** /lib/modules/2.6.32-431.el6.x86_64/build/: No such file or directory. Stop. 这个问题应该是系统没有安装内核开发包，可以看下/usr/src/kernels/，如果这个目录是空的，就说明没有安装 内核开发包安装内
2017-10-17 19:50:34
12731
4
原创 Hadoop之——Hadoop 2.6.3动态增加/删除DataNode节点
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/78255746假设集群操作系统均为：CentOS 6.7 x64Hadoop版本为：2.6.3一、动态增加DataNode1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa...
2017-10-16 23:21:37
3408
原创 CentOS之——Centos6.5更新e1000网卡驱动
在工作过程中经常遇到linux的操作系统网络不正常的情况，以前没有注意到，今天查看系统日志发现原来是网络驱动的问题。索性直接更新系统，更新网卡一、问题：linux系统经常出现断网的情况，重启之后系统恢复正常在断网时候通过ipmi查看系统，发现系统正常运行，只是不能连接网络。进入系统日志找来找去，发现如下报错信息：May 28 13:55:00 localhost kernel:
2017-10-16 19:13:46
2651
转载 CentOS之——生产环境下Centos 6.5优化配置
本文 centos 6.5 优化 的项有18处:1、centos6.5最小化安装后启动网卡2、ifconfig查询IP进行SSH链接3、更新系统源并且升级系统4、系统时间更新和设定定时任5、修改ip地址、网关、主机名、DNS6、关闭selinux，清空iptables7、创建普通用户并进行sudo授权管理8、修改SSH端口号和屏蔽root账号远程登陆9、锁定关键
2017-10-16 19:11:54
2537
原创 CentOS之——Bringing up interface eth0: Determining if ip address 192.168.1.81 is already in use for de
重启网卡出现提示：Bringing up interface eth0: Determining if ip address 192.168.1.81 is already in use for device eth0... [ OK ]Bringing up inte
2017-10-16 19:09:24
4667
原创 CentOS之——解决SSH自动断开办法
echo "ClientAliveInterval 60" >> /etc/ssh/sshd_configecho "ClientAliveCountMax 1" >> /etc/ssh/sshd_config重启SSH服务service sshd restart然后退出,重装进入就不会断开了.
2017-10-16 19:06:02
4042
原创 Hadoop之——基于MR程序实现倒排索引
相信接触过搜索引擎开发的同学对倒排索引并不陌生，谷歌、百度等搜索引擎都是用的倒排索引，关于倒排索引的有关知识，这里就不再深入讲解，有兴趣的同学到网上了解一下。这篇博文就带着大家一起学习下如何利用Hadoop的MR程序来实现倒排索引的功能。一、数据准备1、输入文件数据这里我们准备三个输入文件，分别如下所示a.txthello tomhello jerryhello tom
2017-10-15 12:35:40
2255
原创 Hadoop之——WorldCount统计实例
最近，有很多想做大数据的同学发来私信，想请我这位在大数据领域跌打滚爬了多年的老鸟写一些大数据分析的文章，好作为这些同学学习大数据分析从入门到上手再到精通的参考教程，作为一个大数据分析领域的老鸟，很高兴自己在业界得到了很多同行的认可，同时，自己也想将多年来做大数据分析的一些经验和心得分享给大家。那么，今天，就给大家带来一篇Hadoop的入门经典——WordCount统计实例。一、准备工作1、
2017-10-14 23:54:24
3140
3
原创 Java之——基于Luhn算法的银行卡卡号的格式校验
一、检验规则Luhn算法被用于最后一位为校验码的一串数字的校验，通过如下规则计算校验码的正确性： 按照从右往左的顺序，从这串数字的右边开始，包含校验码，将偶数位数字乘以2，如果每次乘二操作的结果大于9（如 8 × 2 = 16），然后计算个位和十位数字的和（如 1 ＋ 6 = 7）或者用这个结果减去9（如 16 - 9 ＝ 7）； 第一步操作过后会得到新的一串数字，
2017-10-11 19:33:20
4261
1
原创 MySQL之——You can't specify target table 't_order' for update in FRO----mysql的异常
因为使用了这句delete from t_order where id not in (select min(id) from t_order group by t_user_id);MySQL中不能这么用。 （等待MySQL升级吧）错误提示就是说，不能先select出同一表中的某些值，再update这个表(在同一语句中) 替换方案：create table tmp as s
2017-10-11 13:15:21
1155
1
原创 Python之——Eclipse +PyDev开发python，import其他模块时eclipse会报错，运行却没有问题
用eclipse +PyDev开发python时，需要import其他文件时eclipse会报错，但是在python的命令行中运行却没有问题。解决方法：1.右键工程——properties2.选择Pydev-Interface/Grammar，点击链接Click here to configure aninterpreter not listed3.在python
2017-10-07 00:49:17
1611
Navicat for Premium.rar
2020-07-30
Flume采集Nginx日志到新版Hive.rar
2019-09-20
Flume采集Nginx日志到Hive.rar
2019-08-01
Apache标准Log，Hive测试使用
2019-03-17
glibc-2.14 Hadoop专属glib
2019-03-12
avro-1.8.1
2019-02-28
freefloatftpserver1.0 漏洞重现
2019-02-14
VulnServer
2019-01-16
Easy File Sharing Web Server 7.2
2019-01-15
ImmunityDebugger
2019-01-15
sqoop1.46和1.47
2018-09-12
《Spring IOC核心技术》- 冰河原创电子书
2023-01-28
冰河的渗透实战笔记-冰河.pdf
2021-05-18
Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件
2021-05-12
深入理解高并发编程（冰河原创电子书）
2021-04-28
FastDFS6.06完整安装包
2021-04-13
MySQL8.0.19安装包
2021-04-10
流程引擎（Flowable+Activiti）
2020-07-28
nexus-2.11.2-03-bundle.rar
2020-06-15
Navicat For MongoDB 15.0.6
2020-06-13
linux库：compat-libstdc++-33-3.2.3-61
2020-04-20
MySQL各版本my.cnf配置文件.rar
2020-01-12
MySQL 8.0.18源码安装包.rar
2019-11-23
升级gcc与cmake所需的安装文件.rar
2019-11-23
CentOS6.8 64位安装镜像.rar
2019-11-16
性能测试工具（postman+ab+jmeter）.rar
2019-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人