li-break

老李的码农生活,不只是技术,还有生活!

排序:
默认
按更新时间
按访问量

Kafka使用ambari安装遇到的问题

错误1 : kafka.common.InconsistentBrokerIdException: Configured brokerId 1 doesn’t match stored brokerId 0 in meta.properties[2016-06-29 15:05:29,127] F...

2018-06-11 00:40:24

阅读数:45

评论数:0

通过Maven-assembly-plugin插件打包

IDEA打包的方式有三种:1、通过IDEA自带功能一步步搭建,比较繁琐;2、通过Maven-shade-plugin插件打包;2、通过Maven-assembly-plugin插件打包;这里主要讲下最简单的方式:通过Maven-assembly-plugin插件打包一:插件的作用Maven-ass...

2018-03-24 13:56:42

阅读数:154

评论数:1

初始区块链

区块链究竟是什么?区块链是一个由不同节点共同参与的分布式数据库系统,是开放式的账簿系统(ledger)。它是由一串按照密码学方法产生的数据块或数据包组成,即区块(block),对每一个区块数据信息都自动加盖时间戳,从而计算出一个数据加密数值,即哈希值(hash)。每一个区块都包含上一个区块的哈希值...

2018-01-18 17:38:00

阅读数:767

评论数:1

设置IDEA 工程自动编译

最新2017版IDEA设置自动编译直接一步即可: 1、在IDEA界面点击:Ctrl+shift+Alt+/  出现如下界面: 2、 把图中红框中打钩即可

2017-08-02 21:44:34

阅读数:1359

评论数:0

本机连接Kafka超时错误信息的解决办法

[kafka-producer-network-thread | producer-1] ERROR com.zlikun.mq.ProducerTest - send error ! org.apache.kafka.common.errors.TimeoutException: Expirin...

2017-06-16 20:51:37

阅读数:8735

评论数:4

通过IDEA工具上传已完成的项目的方法

对于已开发完或开发一部分的项目要上传到git时,方法如下: 1、首先在git相应的目录下创建以项目名为名的目录 2、通过git clone 已创建的目录在git上的地址 3、用IDEA打开这个目录,正常没问题的话能右键项目,能看到git选项 4、把你的代码及相应的文件夹拷贝到空的项目文件夹...

2017-06-16 20:45:01

阅读数:644

评论数:0

用MapReduce把hdfs数据写入HBase中

1.使用Map+Reduce方式 public class MapReduceImport { /** * Mapper */ static class HMapper extends MapperLongWritable, Text, LongWritab...

2017-03-01 09:20:50

阅读数:3069

评论数:0

HBase phoenix二级索引

1. 为什么需要用二级索引? 对于HBase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄。对于较大的表,全表扫描的代价是不可接受的。但是,很多情况下,需要从多个角度查询数据。例如,在定位某个人的...

2017-02-17 17:52:37

阅读数:2965

评论数:1

用正则校验IP地址与MAC地址

1、java用正则表达式校验MAC地址 Java代码         String mac="00-E0-20-1C-7C-0C";   //正则校验MAC合法性   String patternMac="^[A-F0-9]{2}(-[A-...

2017-01-05 15:37:41

阅读数:4002

评论数:0

Swagger与SpringBoot的整合

Swagger可视化API,不仅能查看API,还能测试 Swagger最终界面: 1.引入相关JAR dependency> groupId>com.mangofactorygroupId> artifactId>swagger-sprin...

2016-11-25 08:43:09

阅读数:16180

评论数:7

Flume传数据到Hadoop双namenode集群传数据可能出现的问题

现在的需求是在一台Flume采集机器上,往Hadoop集群上写HDFS,该机器没有安装Hadoop。 这里的Flume版本是1.6.0,Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的co...

2016-11-18 10:31:24

阅读数:1202

评论数:0

log4j 写错误等告警日志到syslog中

之前一直以为log4j只能将日志写在本地,没想到它竟然也可以将日志写到远程服务器(须是LINUX服务器),现将自已的调查结果记录下来,以便以后查看。 1) 修改syslog的配置文件/etc/syslog.conf    在最后加上如下内容(注意中间的空白必须是 TAB 键,不能是空格,数...

2016-10-14 15:10:42

阅读数:977

评论数:0

hadoop 四种压缩格式

1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。 缺点:不支持split。 应用场景:当每个文件压缩之后在130M以内的(1...

2016-09-22 15:39:41

阅读数:3632

评论数:1

flume 性能优化

如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在Java JVM中,JVM一般运行在linux'操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分。 1, 主键...

2016-09-22 14:26:39

阅读数:1486

评论数:0

开源日志系统比较:scribe、chukwa、kafka、flume

1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Ha...

2016-09-20 14:54:42

阅读数:1783

评论数:0

Spark的三种分布式部署方式

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统...

2016-09-18 19:17:22

阅读数:3044

评论数:0

手动增加Journal Node节点

以hadoop用户执行以下操作: 1.修改etc/hadoop/hdfs-site.xml,在dfs.namenode.shared.edits.dir 配置项中增加相应的新的journal的地址和端口. 2.把etc/hadoop/hdfs-site.xml分发到集群中各服务器. 3.把现...

2016-08-26 16:50:17

阅读数:3079

评论数:0

hive常用函数

字符串函数 字符串长度函数:length   Java代码   语法: length(string A)   返回值: int   说明:返回字符串A的长度   举例:   hive> select length(‘abcedfg’) from d...

2016-07-29 08:18:19

阅读数:942

评论数:1

多数据中心kafaka,flume使用情况

作为互联网公司,网站监测日志当然是数据的最大来源。我们目前的规模也不大,每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成,之前,业务中对实时的要求并不高,最多也就是准实时(延迟半小时以上),因此,我们使用Flume将数据收集到HDFS,然后进行清洗和分析。 后来,根据业务...

2016-06-22 13:47:14

阅读数:2305

评论数:1

ambari安装Hadoop总结

1. namenode hostname 不能有下划线,否则识别不了,要卸载重新安装,安装文件可以不删,要卸载 2.单个数据节点并无数据量的限制,整个集群能存多少数据取决于名称节点的内存有多大,所存储的单个文件的大小取决于整个集群所有数据节点的存储容量之和有多大 可以通过配置 $HADOOP_...

2016-06-15 17:25:12

阅读数:2089

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭