- 博客(22)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Apache Flume（1）：Apache Flume原理
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据接受方，用于最终存储数据。
2021-06-30 23:58:28
348
3
原创 Apache Flume安装部署
https://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz# 定义这个 agent 中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置 source 组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 4..
2021-06-30 00:47:54
283
原创 Hadoop（3）：HDFS 基本操作
1、Shell命令行客户端Hadoop 提供了文件系统的 shell 命令行客户端，使用方法如下：hadoop fs <args>文件系统 shell 包括与 Hadoop 分布式文件系统（HDFS）以及 Hadoop 支持的其他文件系统（如本地FS，HFTP FS，S3 FS 等）直接交互的各种类似shell的命令。所有FS shell命令都将路径URI作为参数。URI格式为scheme://authority/path。对于HDFS，该scheme是hdfs，对于本地FS，
2021-06-29 21:49:44
467
1
原创 Hadoop（2）：HDFS 入门
1、HDFS 基本概念1.1HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。1.2 HDFS设计目标硬件故障是常态， HDFS 将有成百上千的服务器组成，每一个组成部分都.
2021-06-29 01:13:47
186
原创 启动redis报错：/var/run/redis_6379.pid exists, process is already running or crashed
rm -rf /var/run/redis_6379.pid
2021-06-28 10:48:02
1734
原创 Hadoop集群环境搭建
环境准备：提前准备3台虚拟机，安装centos7.0，配置好固定ip，我这边配置的ip如下，请根据自己的实际情况配置：192.168.222.131 192.168.222.130 192.168.222.132下载hadoop安装包，我这边选择的是2.5.0。可根据自己需求来下载。注意：1.X、2.X、3.X有版本差异，该文章只适用2.0以上版本。1、服务器设置1.1同步时间（1）手动同步集群各机器时间date -s "2021-06-21 03:03:03"（
2021-06-27 19:05:46
298
原创 Linux：fpm打包工具
1、安装FPM支持模块ruby1.1使用yum安装yum -y install ruby ruby-devel rubygems1.2查看是否安装成功rpm -qa ruby ruby-devel rubygems2、查看当前rubygems仓库gem source -l3、添加国内源gem sources -a http://mirrors.aliyun.com/rubygems/4、移除国外源gem sources --remov
2021-06-26 22:32:33
255
1
原创 Linux：安装rvm
1、安装curlyum -y install curl2、安装安装rvmcurl -L get.rvm.io | bash -s stablecurl -sSL https://rvm.io/mpapis.asc | gpg2 --import -curl -sSL https://rvm.io/pkuczynski.asc | gpg2 --import -curl -L get.rvm.io | bash -s stable...
2021-06-26 19:18:12
2715
3
原创 Linux：修改yum源
以CentOS为例。yum的源配置文件名为：CentOS-Base.repo，现在修改CentOS默认yum源为阿里的http://mirrors.aliyun.com1、备份系统自带yum源配置文件文件位置：/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载ailiyun的yum源配置文件到/et.
2021-06-25 11:01:14
266
原创 虚拟机NAT模式下本机ping不通虚拟机，但虚拟机可以ping通本机时怎么解决
本机ping不通虚拟机，但虚拟机可以ping通本机原因：最大的原因可能是因为VMware Network Adapter VMnet网络适配器IP设置不对，与虚拟机IP没在同一个网段。解决方案：1、linux虚拟机中连接方式选择NAT模式查看虚拟机的IP、子网掩码和默认网关如下：2、本地启动对应的网卡，我这里是VMnet8，根据各自电脑的情况选择，然后选择VMnet8的属性，手动输入和linux虚拟机ip在同一网段的ip即可再次尝试从主机ping虚拟机...
2021-06-21 23:26:42
971
4
原创 Linux虚拟机NAT模式设置静态IP并且能上网的设置方法
vi /etc/sysconfig/network-scripts/ifcfg-ens33重启网络服务：service network restart
2021-06-21 15:50:06
746
原创 IDEA 启动服务报错Command line is too long. Shorten command line for XXXApplication or also for Spring Boot
今天启动项目报错：Command line is too long. Shorten command line for XXXApplication or also for Spring Boot default configuration.在workspace.xml
2021-06-18 14:08:59
340
原创 IE9中ajax跨域访问
<!--[if lte IE 9]><script type='text/javascript' src='${site.sitePath}/xdomainrequest/jquery.xdomainrequest.min.js'></script><![endif]-->
2021-06-15 12:20:41
1370
1
原创 java反射（4）：Constructor代表类
Constructor代表类的构造方法。 方法 用途 newInstance(Object... initargs) 根据传递的参数创建类的对象 Constructor类在实际开发中使用极少，几乎不会使用Constructor。因为：Constructor违背了Java的一些思想，比如：私有构造不让用户去new对象；单例模式保证全局只有一个该类的实例。而Constructor则可以破坏这个规则案例：写一个小..
2021-06-14 20:33:24
242
原创 java反射（3）：Method代表类
方法 用途 invoke(Object obj, Object... args) 传递object对象及参数调用该对象对应的方法 getName 获取方法名 SetAccessible 暴力反射，忽略访问权限修饰符 Invoke方法的用处：SpringAOP在切面方法执行的前后进行某些操作，就是使用的invoke方法。...
2021-06-14 20:32:16
1227
1
原创 java反射（2）：Field代表类
Field代表类的成员变量。成员变量（字段）和成员属性是两个概念。比如：当一个User类中有一个name变量，那么这个时候我们就说它有name这个字段。但是如果没有getName和setName这两个方法，那么这个类就没有name属性。反之，如果这个类拥有getAge和setAge这两个方法，不管有没有age字段，我们都认为它有age这个属性...
2021-06-14 20:27:23
1240
1
原创 java反射（1）：Class代表类
JAVA反射机制是在运行状态中，对于任意一个实体类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意方法和属性；这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制。框架：半成品项目。我们可以再框架的基础上进行软件开发，简化编码。反射：框架的基础，也是框架的灵魂。将类的各个组成部分封装成其他的对象。反射的好处：可以在程序运行过程中，操作这些对象。可以提高程序扩展性和复用性，可以解耦。...
2021-06-14 20:24:22
242
转载 windows修改hosts不必重启 立刻生效
有时我们会通过修改Hosts文件（路径为系统盘:\WINDOWS\system32\drivers\etc\hosts），在修改并保存Hosts文件后需要重启才能使设置生效。
2021-06-10 14:07:10
7385
转载 判断IE版本的HTML语句详解，如：[if lte IE 9]……[endif]
我们常常会在网页的HTML里面看到形如[if lte IE 9]……[endif]的代码，表示的是限定某些浏览器版本才能执行的语句，那么这些判断语句的规则是什么呢？请看下文：<!--[if !IE]><!--> 除IE外都可识别 <!--<![endif]--><!--[if IE]> 所有的IE可识别 <![endif]--><!--[if IE 6]> 仅IE6可识别 <![endif]--><!-
2021-06-10 09:37:43
611
转载 $.post() 和 $.get() 如何同步请求
由于$.post() 和 $.get() 默认是 异步请求，如果需要同步请求，则可以进行如下使用：在$.post()前把ajax设置为同步：$.ajaxSettings.async = false;在$.post()后把ajax改回为异步：$.ajaxSettings.async = true;如：...
2021-06-09 17:02:45
393
原创 Hadoop环境搭建
1.下载hadoop2.5.0安装包然后通过tar命令进行解压2.配置环境进入etc/hadoop进行环境配置2.1配置hadoop-env.sh将JAVA_HOME地址配置为本地jdk的安装地址2.2配置core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://xiongpeng.com:900...
2021-06-02 23:13:18
171
2
Spring Boot(六十四)：SpringBoot集成Gzip压缩数据
2023-08-16
Disruptor专题简单案例资料
2023-06-17
lucene入门数据库资料
2023-05-21
sentinel-feign-parent
2023-05-09
springboot基于redis防止接口恶意刷新和暴力请求
2023-01-17
javawebuploader分片上传
2023-01-02
AT模式seate测试代码
2022-12-26
drools代码示例包
2022-08-12
mysql读写分离演示
2022-05-29
skywalkingRPC
2022-05-10
skywalkingspringboot
2022-05-10
java实现简单的单点登录
2020-03-03
Intellij Idea 创建JavaWeb项目入门（二）demo
2020-01-23
webapi基于Owin中间件的oauth2.0身份认证
2018-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人