关闭

设置IDEA 工程自动编译

最新2017版IDEA设置自动编译直接一步即可: 1、在IDEA界面点击:Ctrl+shift+Alt+/  出现如下界面: 2、 把图中红框中打钩即可...
阅读(492) 评论(0)

本机连接Kafka超时错误信息的解决办法

[kafka-producer-network-thread | producer-1] ERROR com.zlikun.mq.ProducerTest - send error ! org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for zlikun_topic-3: 30042 ms has pass...
阅读(3154) 评论(1)

通过IDEA工具上传已完成的项目的方法

对于已开发完或开发一部分的项目要上传到git时,方法如下: 1、首先在git相应的目录下创建以项目名为名的目录 2、通过git clone 已创建的目录在git上的地址 3、用IDEA打开这个目录,正常没问题的话能右键项目,能看到git选项 4、把你的代码及相应的文件夹拷贝到空的项目文件夹中,不包括.idea文件夹 5、用IDEA 点击git-》Add-> 再提交...
阅读(401) 评论(0)

用MapReduce把hdfs数据写入HBase中

1.使用Map+Reduce方式 public class MapReduceImport { /** * Mapper */ static class HMapper extends MapperLongWritable, Text, LongWritable, Text> { Text v2 = new Text(); ...
阅读(1762) 评论(0)

HBase phoenix二级索引

1. 为什么需要用二级索引? 对于HBase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄。对于较大的表,全表扫描的代价是不可接受的。但是,很多情况下,需要从多个角度查询数据。例如,在定位某个人的时候,可以通过姓名、身份证号、学籍号等不同的角度来查询,要想把这么多角度的数据都放到rowkey中几乎...
阅读(1834) 评论(1)

用正则校验IP地址与MAC地址

1、java用正则表达式校验MAC地址 Java代码         String mac="00-E0-20-1C-7C-0C";   //正则校验MAC合法性   String patternMac="^[A-F0-9]{2}(-[A-F0-9]{2}){5}$";   if(!Pattern.compile(patternMac).matcher(mac).fi...
阅读(2346) 评论(0)

Swagger与SpringBoot的整合

Swagger可视化API,不仅能查看API,还能测试 Swagger最终界面: 1.引入相关JAR dependency> groupId>com.mangofactorygroupId> artifactId>swagger-springmvcartifactId> version>1.0.2version> dependenc...
阅读(15534) 评论(6)

Flume传数据到Hadoop双namenode集群传数据可能出现的问题

现在的需求是在一台Flume采集机器上,往Hadoop集群上写HDFS,该机器没有安装Hadoop。 这里的Flume版本是1.6.0,Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去,把hadoop-hdfs-2.7.1.jar复制到 Flume  lib目录。 一、...
阅读(952) 评论(0)

log4j 写错误等告警日志到syslog中

之前一直以为log4j只能将日志写在本地,没想到它竟然也可以将日志写到远程服务器(须是LINUX服务器),现将自已的调查结果记录下来,以便以后查看。 1) 修改syslog的配置文件/etc/syslog.conf    在最后加上如下内容(注意中间的空白必须是 TAB 键,不能是空格,数量不限,切记!请参见下面给出的参考文档一)    Log4j代码   loc...
阅读(691) 评论(0)

hadoop 四种压缩格式

1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。 缺点:不支持split。 应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件...
阅读(2019) 评论(1)

flume 性能优化

如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在Java JVM中,JVM一般运行在linux'操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分。 1, 主键的参数设计 1.1 source的配置 有时候不需要每台主机均安装flume agent,可以和s...
阅读(996) 评论(0)

开源日志系统比较:scribe、chukwa、kafka、flume

1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水...
阅读(1150) 评论(0)

Spark的三种分布式部署方式

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统完成:让Spark运行在一个通用的资源管理系统之上,这样可以与其他计算框架,比如MapReduce...
阅读(2020) 评论(0)

手动增加Journal Node节点

以hadoop用户执行以下操作: 1.修改etc/hadoop/hdfs-site.xml,在dfs.namenode.shared.edits.dir 配置项中增加相应的新的journal的地址和端口. 2.把etc/hadoop/hdfs-site.xml分发到集群中各服务器. 3.把现有journal中的数据目录拷贝到新journal服务器. 4.在新journal服务器中执行had...
阅读(2017) 评论(0)

hive常用函数

字符串函数 字符串长度函数:length   Java代码   语法: length(string A)   返回值: int   说明:返回字符串A的长度   举例:   hive> select length(‘abcedfg’) from dual;   7         字符串反转函数:reverse   ...
阅读(783) 评论(1)
605条 共41页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:3163675次
    • 积分:24433
    • 等级:
    • 排名:第294名
    • 原创:350篇
    • 转载:255篇
    • 译文:0篇
    • 评论:320条
    最新评论