- 博客(28)
- 收藏
- 关注
原创 sparkstreaming对接kafka出现的数据积压问题
kafka数据积压问题1. 问题描述 生产环境开发了一套sparkstreaming对接kafka,并进行数据处理的程序。刚开始程序运行的很好,kafka集群被人动过之后,重启spark程序时出现如下报警信息:18/06/20 15:29:21 WARN kafka010.KafkaUtils: overriding enable.auto.commit to false...
2018-06-21 12:55:26
17456
4
原创 java中break的用法
break共有三种用法,具体如下:在switch语句中,被用来种植一个语句序列。switch 语句由一个控制表达式和多个case标签组成。switch 控制表达式支持的类型有byte、short、char、int、enum(Java 5)、String(Java 7)。switch-case语句完全可以与if-else语句互转,但通常来说,switch-case语句执行效率要高。defaul
2017-03-14 11:40:34
2882
转载 大数据平台CDH集群离线搭建
摘要:管理、部署Hadoop集群需要工具,Cloudera Manager便是其一。本文先是简要对比了当前的类似工具,而后详细记录了以离线方式部署CDH集群>的步骤。前言 以Apache Hadoop为主导的大数据技术的出现,使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop有不少发行版:华为发行版 收费、Intel发行版 收费、Cloudera发行版(Cloudera’s D
2017-03-09 10:49:56
511
转载 说说Zookeeper中的ACL
Access Control在分布式系统中重要性是毋庸置疑的,今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。1. 概述传统的文件系统中,ACL分为两个维度,一个是属组,一个是权限,子目录/文件默认继承父目录的ACL。而在Zookeeper中,node的ACL是没有继承关系的,是独立控制的。Zookeeper的ACL,可以从三个维度来理解:一是sch
2017-01-12 19:30:14
471
1
转载 java中volatile关键字的含义
在java线程并发处理中,有一个关键字volatile的使用目前存在很大的混淆,以为使用这个关键字,在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的,为了解决线程并发的问题,在语言内部引入了 同步块 和 volatile 关键字机制。 synchronized 同步块大家都比较熟悉,通过 synchronized 关键字来实现,所有加上synchronized
2017-01-11 21:34:11
316
转载 解决Maven工程中报 Missing artifact jdk.tools:jdk.tools:
jdk.tools:jdk.tools是与JDK一起分发的一个JAR文件,可以如下方式加入到Maven项目中: jdk.tools jdk.tools 1.7 system ${JAVA_HOME}/lib/tools.jar详见Maven FAQ for adding dependencies to tools.jar也可以在本地
2016-12-07 08:44:13
388
转载 Linux SSH免登录配置总结
转载请出自出处:http://eksliang.iteye.com/blog/2187265一、原理 我们使用ssh-keygen在ServerA上生成私钥跟公钥,将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。 生成公钥与私钥有两种加密方式,第一种是rsa(默认),还有一种是dsa,
2016-12-05 21:16:28
321
转载 hadoop2.6.0版本集群环境搭建
一、环境说明1、机器:一台物理机 和一台虚拟机2、linux版本:[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"
2016-12-05 21:15:00
309
转载 hive常用命令
创建表:Hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表,结构与其他一样hive> create table new_tabl
2016-12-03 09:51:55
419
原创 hive的安装与简单使用
1、安装hive【安装hive之前必须安装好mysql】1.1 把hive的压缩包解压。1.2 产生一个文件cp conf/hive-default.xml.template conf/hive-site.xml1.3 把hive-site.xml中<configuration></configuration>中的内容清空。1.4 在里面添加如下内容,如下配置的意义在于metastore的数据
2016-12-03 09:15:49
327
原创 linux6.5安装MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar
系统:centos6.5_64bits 安装包:MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar将MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar复制到linux /opt目录下,解压MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar,按顺序安装三个文件: 安装命令:rpm - ivh
2016-12-02 22:28:44
4736
原创 MapReduce提交jar包的相关操作
模拟HDFS–》MapReduce–》HDFS过程: 在linux中运行jar包【使用MapReduce处理指定的HDFS中的数据,处理完成之后将数据返回到指定的HDFS中】具体操作步骤:1、在eclipse中生成jar包:export–》生成jar包–》填写JAR file:生成路径–》选择Main class–》finish2、将jar包上传到linux,执行: ya
2016-12-01 22:57:13
1021
转载 HDFS 常用文件操作命令
前言HDFS命令基本格式:Hadoop fs -cmd < args >ls 命令hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行hadoop
2016-12-01 19:11:34
384
原创 Idea 常用快捷键
Alt+回车 导入包,自动修正Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Ctrl+E或者Alt+Shift+C 最近更改的代码Ctrl+R 替换文本Ctrl+F 查找文本Ctrl+Shift+Space 自动补全代码Ctrl+
2016-12-01 08:13:14
272
原创 提交jar包到Storm集群
生成jar包,提交到Storm集群步骤: 1、右击项目–》properties–》复制Location; 2、进入cmd命令窗口,切换路径到Location; 3、运行dir命令,查看是否有pom.xml文件 4、如果有,运行mvn clean package,生成jar包 5、将jar包复制到服务器,使用CR
2016-12-01 08:09:12
5920
转载 Redis安装使用
一、获取Redis1、通过官网http://redis.io/获取稳定版源码包下载地址; 2、通过wget http://download.redis.io/releases/redis-3.0.2.tar.gz下载 源码包;二、编译安装Redis1、解压源码安装包,通过tar -xvf redis-3.0.2.tar.gz解压源码,速度相当快; 2、进入解压后的目录,执行make编译源码;
2016-12-01 08:06:03
381
转载 NTP服务及时间同步(CentOS6.x)
今有一小型项目,完全自主弄,原来以为很简单的NTP服务,我给折腾了2个多小时才整撑头(以前都是运维搞,没太注意,所以这技术的东西,在简单都需要亲尝啊),这里记录为以后别再浪费时间。 目标环境,5台linux centos 6.3, 一台作为NTPD服务与外部公共NTP服务同步时间,同时作为内网的NTPD服务器,其他机器与这台服务做时间同步。 服务器IP角色
2016-11-25 19:25:14
1793
原创 linux6.5下安装kafka集群
安装文件:kafka_2.11-0.8.2.2.tgz1、安装: 将压缩包解压到/opt下,将解压后的文件夹重命名为kafka,方便管理。2、修改配置文件config/server.properties修改以下参数:broker.id=133【133是自己命名的,只要节点之间不重复就行】host.name=192.168.244.133【一般是ip地址,也可以使用ip的映射名称】log
2016-11-24 20:50:10
283
原创 linux6.5下安装zooKeeper集群
一、配置文件1、 将解压缩安装包放到/opt文件夹下,解压 2、 修改解压后的文件夹名字为zk(方便管理) 3、 进入/opt/zk/conf文件夹下,复制zoo_sample.cfg到/opt/zk/conf,命名为zoo.cfg。 4、 在zoo.cfg中,增加以下配置 a) dataDir = /opt/zk/datadir b) dataLogDir = /opt/zk
2016-11-24 17:39:23
298
原创 使用ThreadPoolExecutor类创建线程池
一、采用这种方式的优点:可以实时获取线程池内线程的各种状态可以动态调整线程池大小二、线程池的工作原理简介:如果当前线程池中的线程数目小于corePoolSize,则每来一个任务,就会创建一个线程去执行这个任务;如果当前线程池中的线程数目>=corePoolSize,则每来一个任务,会尝试将其添加到任务缓存队列当中,若添加成功,则该任务会等待空闲线程将其取出去执行;若添加失败(一般来说是任务
2016-11-19 16:03:46
13111
1
原创 &和&&、|和||的区别
1、&:与(and)前后两个条件都为true,执行下面的语句,否则执行else语句;第一个条件为false时,继续判断第二个条件,这时第二个条件判不判断已经没有意义,因为false无论是&true还是&false,结果都是false;2、&&:短路与(and)前后两个条件都为true,执行下面的语句,否则执行else语句;第一个条件为false时,不再继续判断第二个条件了【短路】,因为已经
2016-11-19 16:02:15
408
原创 Linux6.5下安装JDK
我们以jdk-8u91-linux-x64.tar.gz 压缩安装tar包为例:一、安装1、将jdk-8u91-linux-x64.tar.gz移动到固定文件夹下(例如/opt) 2、在/opt下执行:tar -xzvf jdk-8u91-linux-x64.tar.gz,回车 3、这时在/opt下会出现一个jdk1.8.0_91文件夹;二、配置环境变量1、修改全局配置文件:
2016-11-19 10:21:24
521
转载 java线程池
在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题: 如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用,就是执行完一个任务,并不被销毁,而是可以继续执行其他的任务? 在Java中可以通过线程池来达到这样的效果。今天我们
2016-11-18 23:52:18
223
转载 Memcached CAS 协议
什么是CAS协议 Memcached于1.2.4版本新增CAS(Check and Set)协议类同于Java并发的CAS(Compare and Swap)原子操作,处理同一item被多个线程更改过程的并发问题。 在Memcached中,每个key关联有一个64-bit长度的long型惟一数值,表示该key对应value的版本号。这个数值由Memcached server产生,从1开始,且同一Me
2016-11-16 21:27:55
243
原创 常用的DOS命令总结
一、如何打开DOS窗口1、在“开始”菜单的“附件”中找到“命令提示符”;2、使用“Win+R”组合键,弹出“运行”窗口,输入“CMD”指令。二、常见的指令1、cd(change directory的缩写):改变目录;2、cd(空格). :表示当前目录;3、cd .. :表示切换到父目录(即上一级目录);4、dir :查看当前目录下的所有内容;5、md:创建
2016-10-30 09:51:26
262
转载 Collection List Set和Map用法与区别(转)
labels:Collection List Set和Map用法与区别 java 散列表 集合Collection 接 口的接口 对 象的集合 ├ List 子接口 按进入先后有序保存 可 重复 │├ LinkedList 接口实现类
2016-10-25 15:30:11
191
转载 CSS块级元素、内联元素
在css盒子模型中,我们提到了html元素中的块元素(block element)和内联元素(inline element)。那么它们究竟是什么呢? 其实,这两种元素都是html规范中的概念。块元素(block element)一般是其他元素的容器元素,能容纳其他块元素或内联元素。最常见的就是P和div这两个,说的简单点,块元素就好比一个四方块,可以放其他的四方块,并可以呈现在页面上任
2016-05-30 16:57:55
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人