- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hadoop 基础环境搭建
Backgroundcynric-111 ,cynric-112 ,cynric-113 三台主机每台机器一块80G ssd盘做为根盘(vda)每台机器一块100G ssd盘做为数据盘 (vdb)每台机器一块2T sata盘做为数据盘 (vdc)一、步骤1.免密码登录修改三台机器 /etc/hosts 文件如下192.168.xx.111 cynric-111192.168...
2019-11-26 02:19:31
616
翻译 flume 1.9 源码阅读(四) Source配置
上一篇文章最后说到了AgentConfiguration这个类，他是flume配置文件中最核心的东西。我们先放一放看一下flume配置文件到底都有哪些东西然后回头再来看这个类以及sources、channels、sinks等组件是如何实例化的。从官网上扒下来的一些资料：AvroSource属性名称默认值描述channels-sources要连接的channels...
2019-11-13 11:43:07
1721
原创 flume 1.9 源码阅读(三)
Flume-NG Configuration上一节，看完了flume启动脚本，其中里面解析了各种用户传入的参数，并将其作为参数传给了 org.apache.flume.node.Application。 本节从 Application 入口类了解一下 flume-ng 如何启动。以及 flume-ng-configuration 模块是如何解析配置文件的。org.apache.flume.no...
2019-11-11 17:50:15
457
翻译 java.util.concurrent.locks.Lock 翻译
Lock implementations provide more extensive locking operations than can be obtained using synchronized methods and statements. They allow more flexible structuring, may have quite different properti...
2019-10-31 21:29:06
200
原创 flume 1.9 源码阅读(二)
Flume NG 启动脚本分析启动 flume-ng-agent/root/flume/bin/flume-ng agent --name agent1 -c conf -f flume-conf.conf配置文件如下：agent1.sources = source1agent1.channels = channel1agent1.sinks = sink1agent1.sour...
2019-10-30 11:21:47
253
原创 flume 1.9 源码阅读(一)
Flume源码阅读Flume NG和 Flume OG 相比Flume 源码目录结构Flume 结构数据流模型参考:https://www.jianshu.com/p/0187459831afhttp://flume.apache.org/FlumeUserGuide.htmlFlume NGFlume 是一个分布式的、可靠的、高效的日志采集、聚合、转移系统。他可以从多个不同的Sourc...
2019-10-29 17:45:31
795
原创 Spark【学习笔记】 textfile读取 HDFS 文件分区 [压缩与非压缩]
Flume本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +
2018-10-15 17:51:17
6583
原创 Log4j 总结
log4j的使用结合项目使用Log4j打印日志，log4j具体的使用方法大家可以baidu下，本文只是总结一下log4j和项目的关系。 首先创建一个maven项目，在POM文件中导入log4j依赖： <dependencies> <dependency> <groupId>log4j</groupId>...
2018-02-12 18:05:10
167
原创 Mac下手动安装Tex/Latex Package
下载最小安装mactex-basic传送门链接:https://pan.baidu.com/s/1jKiorVw 密码:a0fs安装Package英文好的自己看： https://en.wikibooks.org/wiki/LaTeX/Installing_Extra_Packages#Installing_a_package不好的就看下面：cd /usr/local/texlive/2017b
2018-01-11 16:44:45
13367
原创 ES学习笔记（二）
创建索引我们在之前已经建立过一个索引fruits了。方法如下：curl -XPUT localhost:9200/fruits创建成功后命令行会返回如下：{ "acknowledged":true}那么究竟在执行完这个方法以后，ES创建了哪些东西呢？我们打开浏览器输入 localhost:9200/_plugin/head 来查看下，点击信息索引信息。如下图：对于这个索引值来说有2个比较重
2017-12-15 10:28:44
424
原创 ES学习笔记
ES学习笔记Elasticsearch安装可以到官网下载很快的，懒的同学可以使用下面的传送门 es2.4.2 安装包 ：https://pan.baidu.com/s/1c2hM6J2 lduh es6.0.1 安装包 ：https://pan.baidu.com/s/1dFIYshV fq70本人习惯把相关东西都解压到/usr/local/文件夹下：#tar zxvf es下载路径 es安
2017-12-14 20:25:36
328
原创 swift 二维数组
数组首先我们来看下swift中一维数组，有如下两种定义方法1.var arry: [Int] = [Int]()由于 swift 是一种强推断类型，所以在声明的时候可以省去类型[Int]，我们同样可以用下面的方式声明一个一维数组var arry = [Int]()2.第二种声明方式类似java中声明一个arraylist：var arry = Array<Int>()利用这两种方式我们都可以获得一个
2016-04-07 04:23:25
4952
原创 Mac os x captain 10.11.1 安装boost库 及配置Xcode
安装boost库http://www.boost.org boost官网下载. cd boost_1_60_0 ./boostrap.sh ./b2 ./b2 install
2016-01-22 17:46:04
490
原创 hadoop学习笔记 （2.7.1源代码编译 Ubuntu）
在编译源代码的时候与到了很多错误。下面列出我遇到的错误：问题1： no plugin descriptor found at meta-inf/maven/plugin.xml遇到这个错误的时候，是因为没有编译hadoop-maven-plugins，解决方法： cd hadoop-2.7.1-src/hadoop-maven-plugins mvn install然后这个m
2015-11-19 17:04:01
482
翻译 Hadoop学习笔记（一）
Hadoop2 ubuntu安装和配置1.安装hadoop前的准备工作安装jdk 安装openssl-server免密码登陆2.安装hadoop> https://hadoop.apache.org/releases.html选择自己要安装的版本。注意每个版本对应两个下载选项source和binary，我们暂时下载binary,下载后我们会得到一个名为 hadoop-x.x.x.tar.g
2015-10-20 06:03:06
1218
原创 Lua 学习笔记（二）
函数这一章我们介绍一下lua中函数的声明，其实函数这东西我们每个人都接触过，就像我们初中高中学的一次函数 ，二次函数是一样的。举个简单的例子吧，目前欧元汇率和人民币汇率的比例是1欧元换7.2人民币，那我们手里有100欧元能换多少人民币呢？如果是1000欧元呢？遇到这种问题的时候，我们就需要找到一个规律，然后把他写成一个函数，输入是欧元，输出是人民币就好了，这个过程其实就是数学建模的过程。于是我们可以
2015-09-17 21:53:20
391
原创 Lua学习笔记（一）
序楼主是一个wower从mc开荒开始就玩了，当时还是一个高二的学生，高三要高考了整整一年基本都没有玩，只是偶尔偷偷回家玩一下。楼主是一个pvp爱好者，自从有了jjc（arena）以后基本就不打副本了（除了s4赛季 为了4+4 古头 打个太阳井，黑庙什么，之后貌似也就是贼法法牧骑那版英雄火鹰裤子），顺便说下楼主是一个法师，之前afk了一段时间，上赛季回来重新玩，目前玩法师和奶萨，竞技场里经常被x的抬不
2015-03-05 15:06:38
962
谷歌官网的snappy
2018-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人