- 博客(28)
- 收藏
- 关注
RSS订阅原创 sparkstreaming对接kafka出现的数据积压问题
kafka数据积压问题1. 问题描述 生产环境开发了一套sparkstreaming对接kafka，并进行数据处理的程序。刚开始程序运行的很好，kafka集群被人动过之后，重启spark程序时出现如下报警信息：18/06/20 15:29:21 WARN kafka010.KafkaUtils: overriding enable.auto.commit to false...
2018-06-21 12:55:26
17424
4
原创 java中break的用法
break共有三种用法，具体如下：在switch语句中，被用来种植一个语句序列。switch 语句由一个控制表达式和多个case标签组成。switch 控制表达式支持的类型有byte、short、char、int、enum（Java 5）、String(Java 7)。switch-case语句完全可以与if-else语句互转，但通常来说，switch-case语句执行效率要高。defaul
2017-03-14 11:40:34
2877
转载 大数据平台CDH集群离线搭建
摘要：管理、部署Hadoop集群需要工具，Cloudera Manager便是其一。本文先是简要对比了当前的类似工具，而后详细记录了以离线方式部署CDH集群>的步骤。前言 以Apache Hadoop为主导的大数据技术的出现，使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop有不少发行版：华为发行版 收费、Intel发行版 收费、Cloudera发行版（Cloudera’s D
2017-03-09 10:49:56
501
转载 说说Zookeeper中的ACL
Access Control在分布式系统中重要性是毋庸置疑的，今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。1. 概述传统的文件系统中，ACL分为两个维度，一个是属组，一个是权限，子目录/文件默认继承父目录的ACL。而在Zookeeper中，node的ACL是没有继承关系的，是独立控制的。Zookeeper的ACL，可以从三个维度来理解：一是sch
2017-01-12 19:30:14
465
1
转载 java中volatile关键字的含义
在java线程并发处理中，有一个关键字volatile的使用目前存在很大的混淆，以为使用这个关键字，在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的，为了解决线程并发的问题，在语言内部引入了 同步块 和 volatile 关键字机制。 synchronized 同步块大家都比较熟悉，通过 synchronized 关键字来实现，所有加上synchronized
2017-01-11 21:34:11
308
转载 解决Maven工程中报 Missing artifact jdk.tools:jdk.tools:
jdk.tools:jdk.tools是与JDK一起分发的一个JAR文件，可以如下方式加入到Maven项目中： jdk.tools jdk.tools 1.7 system ${JAVA_HOME}/lib/tools.jar详见Maven FAQ for adding dependencies to tools.jar也可以在本地
2016-12-07 08:44:13
379
转载 Linux SSH免登录配置总结
转载请出自出处：http://eksliang.iteye.com/blog/2187265一、原理 我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。 生成公钥与私钥有两种加密方式，第一种是rsa(默认)，还有一种是dsa,
2016-12-05 21:16:28
311
转载 hadoop2.6.0版本集群环境搭建
一、环境说明1、机器：一台物理机 和一台虚拟机2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"
2016-12-05 21:15:00
297
转载 hive常用命令
创建表：Hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样hive> create table new_tabl
2016-12-03 09:51:55
412
原创 hive的安装与简单使用
1、安装hive【安装hive之前必须安装好mysql】1.1 把hive的压缩包解压。1.2 产生一个文件cp conf/hive-default.xml.template conf/hive-site.xml1.3 把hive-site.xml中<configuration></configuration>中的内容清空。1.4 在里面添加如下内容，如下配置的意义在于metastore的数据
2016-12-03 09:15:49
316
原创 linux6.5安装MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar
系统：centos6.5_64bits 安装包：MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar将MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar复制到linux /opt目录下，解压MySQL-5.5.53-1.el6.x86_64.rpm-bundle.tar，按顺序安装三个文件： 安装命令：rpm - ivh
2016-12-02 22:28:44
4726
原创 MapReduce提交jar包的相关操作
模拟HDFS–》MapReduce–》HDFS过程： 在linux中运行jar包【使用MapReduce处理指定的HDFS中的数据，处理完成之后将数据返回到指定的HDFS中】具体操作步骤：1、在eclipse中生成jar包：export–》生成jar包–》填写JAR file：生成路径–》选择Main class–》finish2、将jar包上传到linux，执行： ya
2016-12-01 22:57:13
1007
转载 HDFS 常用文件操作命令
前言HDFS命令基本格式：Hadoop fs -cmd < args >ls 命令hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在，否则命令不会执行hadoop
2016-12-01 19:11:34
376
原创 Idea 常用快捷键
Alt+回车 导入包,自动修正Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Ctrl+E或者Alt+Shift+C 最近更改的代码Ctrl+R 替换文本Ctrl+F 查找文本Ctrl+Shift+Space 自动补全代码Ctrl+
2016-12-01 08:13:14
241
原创 提交jar包到Storm集群
生成jar包，提交到Storm集群步骤： 1、右击项目–》properties–》复制Location； 2、进入cmd命令窗口，切换路径到Location； 3、运行dir命令，查看是否有pom.xml文件 4、如果有，运行mvn clean package,生成jar包 5、将jar包复制到服务器，使用CR
2016-12-01 08:09:12
5914
转载 Redis安装使用
一、获取Redis1、通过官网http://redis.io/获取稳定版源码包下载地址； 2、通过wget http://download.redis.io/releases/redis-3.0.2.tar.gz下载 源码包；二、编译安装Redis1、解压源码安装包，通过tar -xvf redis-3.0.2.tar.gz解压源码，速度相当快； 2、进入解压后的目录，执行make编译源码；
2016-12-01 08:06:03
373
转载 NTP服务及时间同步(CentOS6.x)
今有一小型项目，完全自主弄，原来以为很简单的NTP服务，我给折腾了2个多小时才整撑头（以前都是运维搞，没太注意，所以这技术的东西，在简单都需要亲尝啊），这里记录为以后别再浪费时间。 目标环境，5台linux centos 6.3， 一台作为NTPD服务与外部公共NTP服务同步时间，同时作为内网的NTPD服务器，其他机器与这台服务做时间同步。 服务器IP角色
2016-11-25 19:25:14
1778
原创 linux6.5下安装kafka集群
安装文件：kafka_2.11-0.8.2.2.tgz1、安装： 将压缩包解压到/opt下，将解压后的文件夹重命名为kafka，方便管理。2、修改配置文件config/server.properties修改以下参数：broker.id=133【133是自己命名的，只要节点之间不重复就行】host.name=192.168.244.133【一般是ip地址，也可以使用ip的映射名称】log
2016-11-24 20:50:10
276
原创 linux6.5下安装zooKeeper集群
一、配置文件1、 将解压缩安装包放到/opt文件夹下，解压 2、 修改解压后的文件夹名字为zk（方便管理） 3、 进入/opt/zk/conf文件夹下，复制zoo_sample.cfg到/opt/zk/conf，命名为zoo.cfg。 4、 在zoo.cfg中，增加以下配置 a) dataDir = /opt/zk/datadir b) dataLogDir = /opt/zk
2016-11-24 17:39:23
291
原创 使用ThreadPoolExecutor类创建线程池
一、采用这种方式的优点：可以实时获取线程池内线程的各种状态可以动态调整线程池大小二、线程池的工作原理简介：如果当前线程池中的线程数目小于corePoolSize，则每来一个任务，就会创建一个线程去执行这个任务；如果当前线程池中的线程数目>=corePoolSize，则每来一个任务，会尝试将其添加到任务缓存队列当中，若添加成功，则该任务会等待空闲线程将其取出去执行；若添加失败（一般来说是任务
2016-11-19 16:03:46
13101
1
原创 &和&&、|和||的区别
1、&：与（and）前后两个条件都为true，执行下面的语句，否则执行else语句；第一个条件为false时，继续判断第二个条件，这时第二个条件判不判断已经没有意义，因为false无论是&true还是&false，结果都是false；2、&&：短路与（and）前后两个条件都为true，执行下面的语句，否则执行else语句；第一个条件为false时，不再继续判断第二个条件了【短路】，因为已经
2016-11-19 16:02:15
400
原创 Linux6.5下安装JDK
我们以jdk-8u91-linux-x64.tar.gz 压缩安装tar包为例：一、安装1、将jdk-8u91-linux-x64.tar.gz移动到固定文件夹下（例如/opt） 2、在/opt下执行：tar -xzvf jdk-8u91-linux-x64.tar.gz，回车 3、这时在/opt下会出现一个jdk1.8.0_91文件夹；二、配置环境变量1、修改全局配置文件：
2016-11-19 10:21:24
510
转载 java线程池
在前面的文章中，我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题： 如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？ 在Java中可以通过线程池来达到这样的效果。今天我们
2016-11-18 23:52:18
213
转载 Memcached CAS 协议
什么是CAS协议 Memcached于1.2.4版本新增CAS(Check and Set)协议类同于Java并发的CAS(Compare and Swap)原子操作，处理同一item被多个线程更改过程的并发问题。 在Memcached中，每个key关联有一个64-bit长度的long型惟一数值，表示该key对应value的版本号。这个数值由Memcached server产生，从1开始，且同一Me
2016-11-16 21:27:55
235
原创 常用的DOS命令总结
一、如何打开DOS窗口1、在“开始”菜单的“附件”中找到“命令提示符”；2、使用“Win+R”组合键，弹出“运行”窗口，输入“CMD”指令。二、常见的指令1、cd(change directory的缩写)：改变目录；2、cd（空格）. ：表示当前目录；3、cd .. ：表示切换到父目录（即上一级目录）；4、dir ：查看当前目录下的所有内容；5、md：创建
2016-10-30 09:51:26
252
转载 Collection List Set和Map用法与区别(转)
labels:Collection List Set和Map用法与区别 java 散列表 集合Collection 接 口的接口 对 象的集合 ├ List 子接口 按进入先后有序保存 可 重复 │├ LinkedList 接口实现类
2016-10-25 15:30:11
186
转载 CSS块级元素、内联元素
在css盒子模型中，我们提到了html元素中的块元素（block element）和内联元素（inline element）。那么它们究竟是什么呢？ 其实，这两种元素都是html规范中的概念。块元素(block element)一般是其他元素的容器元素，能容纳其他块元素或内联元素。最常见的就是P和div这两个，说的简单点，块元素就好比一个四方块，可以放其他的四方块，并可以呈现在页面上任
2016-05-30 16:57:55
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人