- 博客(365)
- 资源 (20)
- 收藏
- 关注
RSS订阅转载 Flume监控及参数调优
flume监控在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结 。另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。flume各部分参数含义batchData的大小见参数：batchSizePutList和TakeList的大小见参数：transactionCapacti...
2018-04-21 20:15:05
1743
转载 高可用flume-ng搭建
一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.cat flume-client.properties#name the components on this agent 声明source、channel、sink的名称 a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 ...
2018-04-21 20:05:54
461
转载 java和c 互斥文件锁问题
地址:https://blog.csdn.net/vs2008_cff/article/details/72853152最近调项目需要java和c访问同一个文件，涉及到文件锁问题。最开始java能识别java加的文件锁，c能识别c加的锁。但c怎么也识别不了java锁，java也识别不了c的。通过各种查找终于找到了问题的解决方案，在一个外国网站上发现了这个提示：Try this:(1) Write ...
2018-04-17 21:45:55
623
转载 Maven Helper 安装使用-分析依赖冲突插件
插件 Maven HelperMaven Helper 是什么？Maven Helper 如何安装？Maven Helper 如何使用？ Maven Helper ： 此插件可用来方便显示maven的依赖树，在没有此插件时，如果想看maven的依赖树需要输入命令行： mvn dependency:tree 才可查看依赖。如果想看是否有依赖包冲突的话也需要输入命令行等等的操作。而如果...
2018-03-27 14:17:44
32020
6
转载 使用Intellij IDEA分析解决maven依赖冲突问题
地址：https://www.hellojava.com/article/603问题描述为了做导出数据到Excel功能，引入了easypoi的dependency，启动后，报出了以下错误：Caused by: java.lang.IncompatibleClassChangeError: class org.springframework.core.type.classre...问题描述为了做导出...
2018-03-27 10:52:25
14990
转载 log4j.properties文件的配置不起作用
http://outofmemory.cn/code-snippet/7269/java-log4j.properties-not-working-solution今天的项目中遇到了log4j.properties日志配置文件不起作用的问题，反反复复看了log4j.properties文件是没有语法问题，但是设置log级别就是不管用。最后查到是配置文件，被第三方jar包中的log4j.proper...
2018-03-27 09:37:17
14187
1
转载 JAR包引用其它JAR包的classpath问题
运行jar包的命令：java -jar hello.jar不过如果工程引用到了其它jar，虽然用ide工具打包时可以看到引用的JAR已经加入到了自己的JAR中，但运行时却会提示ClassNotFoundException。此时需要修改ide工具自动生成的hello.jar中的MANIFEST.MF，通过MANIFEST.MF中的Class-Path 来指定运行时需要用到的其他jar，其他jar可以...
2018-03-25 17:44:54
5183
1
转载 flume 读取数据存入mysql（一）
地址：https://blog.csdn.net/u012373815/article/details/54098581本文需求是用flume 监控文件，然后将文件的内容存放在mysql数据库中。本文结构mysql 表设计MysqlSink编写conf 配置打包测试1.mysql 表设计 首先声明本文的event ，本文的event内容 是”exec taili,yang”，exectail...
2018-03-25 17:32:03
6051
转载 flume自定义组件的 jar 包管理
地址：https://blog.csdn.net/u012373815/article/details/54352177自定义flume 组建后，将项目打成jar 包，关于这个jar 包的管理和使用我在这里列举了三中方式。这三种方式都可以，随自己喜好使用。1. lib 目录将maven项目打成jar包，将jar 包放到flume的lib 目录下。此方法简单粗暴，缺点就是jar 包不易管理2. 官方...
2018-03-25 16:43:55
815
转载 flume 的安装和入门小例子
地址：https://blog.csdn.net/u012373815/article/details/54025112本文结构 我的环境 CentOS 7flume 安装与启动flume 的avro小例子Spool 的小例子Syslogtcp 小例子1. flume 安装与启动1.1 下载安装包访问官网传送门，不信你不点下载apache-flume-1.7.0-bin.tar.gz 安装包。 并...
2018-03-25 16:28:37
253
转载 iOS 证书管理、验证、打包流程
背景iOS软件的开发和发布离不开证书和配置文件，如果要想发布app到Apple Store或者使用苹果的推送通知功能，都需要个人开发者证书签名该app，以便通过苹果的认证和审核。由于我们公司的app不是单独一个，而是一个客户对应一个app，在新版本中，需要用到推送通知功能，就需要发布app到Apple Store，通过认证后才能正常使用苹果提供的这个服务，同时，为了满足部分客户要把自己的app发布...
2018-03-23 17:59:31
1154
转载 zookeeper命令行(zkCli.sh&zkServer.sh)使用及四字命令
zookeeper提供了很多方便的功能，方便我们查看服务器的状态，增加，修改，删除数据（入口是zkServer.sh和zkCli.sh）。还提供了一系列四字命令，方便我们跟服务器进行各种交互，来确认服务器当前的工作情况（这也是服务器监控告警的基础）。本文所讲的zkCli.sh和zkServer.sh均位于以下目录中：/usr/local/zookeeper-server1目录分布情况请参考我的另一...
2018-03-22 20:03:28
707
转载 JAVA程序员一定知道的优秀第三方库（2016版）
地址：https://www.jianshu.com/p/ec517bb2fcfa几乎每个程序员都知道要“避免重复发明轮子”的道理——尽可能使用那些优秀的第三方框架或库，但当真正进入开发时，我却经常发现他们有时并不知道那些轮子在哪里。最近，我在业余时间带几个年轻的程序员一起做了一个很小的商业项目，而在一起开发的过程中，我几乎在所有需要判断字符串是否为空的地方，看到了下面的代码：if(inputSt...
2018-03-17 17:29:05
252
转载 源码解读--(3)hbase-examples MultiThreadedClientExample
地址：http://aperise.iteye.com/blog/2372534源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...
2018-03-17 16:53:48
431
转载 源码解读--(2)hbase-examples BufferedMutator Example
地址：http://aperise.iteye.com/blog/2372505源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...
2018-03-17 16:51:36
1578
翻译 解读--(1)hbase客户端源代码
地址：http://aperise.iteye.com/blog/2372350源码解读--(1)hbase客户端源代码http://aperise.iteye.com/blog/2372350源码解读--(2)hbase-examples BufferedMutator Examplehttp://aperise.iteye.com/blog/2372505源码解读--(3)hbase-exam...
2018-03-17 16:48:40
2977
2
转载 四层、七层负载均衡的区别
地址：http://mp.weixin.qq.com/s/9POrwe3jrE1kChps6r-osQ一，什么是负载均衡（Load balancing）在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但是随着业务量越来越大，无论是性能上还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。然而，我们的网站对外提供的访...
2018-03-16 14:02:01
20014
1
转载 订阅 flume监控spoolDir日志到HDFS整个流程小Demo
地址： http://blog.csdn.net/qq_20641565/article/details/52807776今天做了一个flume监控spoolDir日志到HDFS整个流程的小Demo。流程: 1.编写java代码，随机生成用户ID号码，区县号码，乡镇号码(区县和乡镇号码用随机的三位字母表示)和个人总收入格式样例：779362a1-bf04-468a-91b6-a19d772f41...
2018-03-15 10:32:17
306
转载 [JAVA]数组
Java语言中提供的数组是用来存储固定大小的同类型元素声明数组变量dataType[] arrayRefVar; // 首选的方法或dataType arrayRefVar[]; // 效果相同，但不是首选方法注意: 建议使用dataType[] arrayRefVar 的声明风格声明数组变量。 dataType arrayRefVar[] 风格是来自 C/C++ 语言 ，在Java...
2018-03-14 16:03:10
136
转载 [java]string相关
Java String类注意:String类是不可改变的，所以你一旦创建了String对象，那它的值就无法改变了。 如果需要对字符串做很多修改，那么应该选择使用StringBuffer & StringBuilder 类。Java StringBuffer和StringBuilder类当对字符串进行修改的时候，需要使用StringBuffer和StringBuilder类。和String类...
2018-03-14 15:42:39
134
转载 IntelliJ IDEA 运行你的第一个Java应用程序
传送门：http://blog.csdn.net/testcs_dn/article/details/51793511IntelliJ IDEA 运行你的第一个Java应用程序创建项目让我们创建一个简单的Java Hello World项目。单击创建新的项目。打开新建项目向导。你应该注意的主要是项目的SDK。SDK（软件开发套件）是一套软件开发工具，可以让你更快的开发应用程序。IntelliJ I...
2018-03-14 15:32:47
1123
转载 [java]对象和类
源文件声明规则在本节的最后部分，我们将学习源文件的声明规则。当在一个源文件中定义多个类，并且还有import语句和package语句时，要特别注意这些规则。一个源文件中只能有一个public类一个源文件可以有多个非public类源文件的名称应该和public类的类名保持一致。例如：源文件中public类的类名是Employee，那么源文件应该命名为Employee.java。如果一个类定义在某个包...
2018-03-13 20:43:28
124
转载 [Java][log4j]支持同时按日期和文件大小分割日志
地址：http://blog.csdn.net/szwangdf/article/details/37563307根据DailyRollingFileAppender和RollingFileAppender改编，支持按日期和文件大小分割日志。 源文件： Java代码 package com.bao.logging; import java.io.File; import java.io....
2018-03-11 19:24:56
1552
转载 最详细的Log4j使用教程(二)
地址：http://blog.csdn.net/changqing5818/article/details/50265811Log4j 为指定类记录日志 可以设置不同package的日志输出级别，语法为：log4j.logger.packageName=level其中，packageName为实际的包名，level为日志级别，例如：[html] view plain copylog4j.logge...
2018-03-11 17:26:45
411
转载 最详细的Log4J使用教程
地址：http://www.codeceo.com/log4j-usage.html日志是应用软件中不可缺少的部分，Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站：jakarta.apache.org/log4j可以免费下载到Log4j最新版本的软件包。一、入门实例1.新建一个JAva工程，导入包log4j-1.2.17.jar，整个...
2018-03-11 17:17:55
240652
28
转载 JDK-9的安装与环境变量配置
2017年9月JDK -9发布了，鉴于官网的声明Oracle will not post further updates of Java SE 8 to its public download sites for commercial use after September 2018.早点移植到此版本为好。1. 安装首先下载最新版的JDK-9，如果只是为了运行不开发，请下载JRE，节省点空间。下载...
2018-03-09 15:29:43
286
转载 Mysql数据库主要系统表说明
1. 获取所有表结构(TABLES)SELECT * FROM information_schema.TABLES WHERE TABLE_SCHEMA='数据库名';TABLES表：提供了关于数据库中的表的信息（包括视图）。详细表述了某个表属于哪个schema，表类型，表引擎，创建时间等信息。各字段说明如下：字段含义
2018-03-08 10:41:48
947
转载 [java]-1-maven教程
Apache Maven 是一套软件工程管理和整合工具。基于工程对象模型（POM）的概念，通过一个中央信息管理模块，Maven 能够管理项目的构建、报告和文档。概述Maven 是什么？ Maven 是一个项目管理和整合工具。Maven 为开发者提供了一套完整的构建生命周期框架。开发团队几乎不用花多少时间就能够自动完成工程的基础构建配置，因为 Maven 使用了一个标准的目录结构和一个...
2018-03-07 17:41:36
247
转载 MapReduce原理
简介MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段。每阶段都以键-值对作为输入和输出，其类型由程序员来选择。程序员还需要写两个函数：map函数和reduce函数。数据流Hadoop将作业分成若干个任务（task）来执行，其中包括两类任务：map任务和reduce任务。map阶段数据划分Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片（input...
2018-03-06 19:47:55
315
转载 Intelij DataGrip 使用教程
仅提供链接初级使用教程DataGrip使用入门（一） —— 安装与数据源管理DataGrip使用入门（二） —— 常用设置DataGrip使用入门（三） —— 常用操作DataGrip使用入门（四） —— 导出数据高级使用教程DataGrip使用进阶（一） —— 导航及搜索DataGrip使用进阶（二） —— 代码提示及格式化DataGrip使用进阶（三） —— 文本编辑器注意：暂时只搬运了链接，...
2018-03-06 17:01:31
60952
4
转载 HBase学习之六: hbase的预分区设计
背景 HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断 增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region spli...
2018-03-04 22:55:28
7079
转载 HBase学习之五:HBase的RowKey设计原则
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行...
2018-03-04 21:38:59
237
转载 HBase学习之四: mapreduce处理数据后存储到hbase及错误java.lang.NoClassDefFoundError的解决办法
大神博客：http://blog.csdn.net/javajxz008/article/details/51854705
2018-03-04 01:08:46
354
转载 HBase学习之三: hbase filter(过滤器)和coprocessor(协处理器)统计行数的简单应用
1.关于filter的用法及说明参见这三篇博文，基本涵盖了绝大部分filter，很详细，还有实测代码，感谢博主的付出，特收藏.HBase Filter:http://blog.sina.com.cn/s/blog_7431c7c50101c5ig.htmlHBase（0.96以上版本）过滤器Filter详解及实例代码:http://blog.csdn.net/u010967382/article...
2018-03-04 01:07:07
573
转载 HBase学习之二: hbase分页查询
在hbase中可以使用scan做一些简单的查询，但是要实现多条件复杂查询还需要借助filter(过滤器)来完成，甚至还可以自定义filter实现个性化的需求，项目中需要分页查询，记录了其中的核心代码，以便于查阅。地址：http://blog.csdn.net/javajxz008/article/details/51833982...
2018-03-04 00:58:53
1224
转载 HBase学习之一: 创建hive和hbase关联表
背景:项目中需要使用HQL对源数据进行分析，分析的结果需要做近似于实时的查询，所以创建的表就需要在hive和hbase之间相关联，此为背景。drop table tbl_hive_test;create external table tbl_hive_test( id string, name string, age string)STORED BY 'org.apache.hadoo...
2018-03-04 00:50:19
1654
转载 hbase shell常用命令总结
输入help命令看所有命令及分组情况。1.当前用户 whoami2.看hbase服务器状态 status3.看hbase版本 version4.列出所有的表 list5.创建表，可使用create help命令看创建案列 create 't1','cl1','cl2','cl3'说明：表名t1，三个列族cl1，cl2，cl36.查看表详细信息 describe 't1'7.使表可用不可用。 ena...
2018-03-04 00:23:59
279
转载 HBase原理和设计
简介 HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务。而从应用的角度来说，HBase与一般的数据库又有所区别，H...
2018-03-04 00:22:25
161
原创 面向服务架构的L7代理和通信总线-Envoy
github: https://github.com/envoyproxy/envoy中文文档： https://github.com/lixiangyun/envoyproxy_doc_ZH_CNhttp://www.envoyproxy.cn/498704Envoy 是一个面向服务架构的L7代理和通信总线而设计的，这个项目诞生是出于以下目标：对于应用程序而言，网络应该是透明的，当发生网络和应用...
2018-03-03 01:42:52
3384
转载 Orphan Temporary Tables(alter_table异常失败)
Orphan Temporary TablesIf MySQL exits in the middle of a table-copying ALTER TABLE operation (ALGORITHM=COPY), you may be left with an orphan temporary table that takes up space on your system. This s...
2018-02-27 19:18:21
394
llvm-project-llvmorg-13.0.0-centos79-gcc11.1
2023-10-31
usql-0.7.0-linux-amd64.tar.bz2
2018-06-22
usql-0.7.0-windows-amd64 (1).zip
2018-06-22
myhttpd_muduo
2018-01-14
令牌桶算法c实现
2017-11-29
everything-curl http libcurl
2017-11-07
rar 64位最新版
2016-09-15
rarlinux下让人解压
2016-09-14
Linux Shell脚本攻略（第2版）
2016-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人