- 博客(42)
- 收藏
- 关注
RSS订阅
原创 （六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第六篇。更多后续文章敬请关注后续文章。
2019-07-05 19:47:20
2310
1
原创 （九）使用Ansible搭建分布式大数据基础环境-Spark On Yarn分布式集群搭建
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第九篇-Spark On Yarn模式搭建。更多后续文章敬请关注后续文章。（一）使用Ansible搭建分布式大数据基础环境-环...
2019-07-09 16:40:35
547
原创 （八）使用Ansible搭建分布式大数据基础环境-Hive客户端搭建
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第八篇-Hive2安装篇。更多后续文章敬请关注后续文章。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用...
2019-07-09 15:27:53
504
原创 （七）使用Ansible搭建分布式大数据基础环境-MySQL安装
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第七篇-Hive2安装篇。更多后续文章敬请关注后续文章。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用...
2019-07-09 14:22:56
570
原创 （五）使用Ansible搭建分布式大数据基础环境-ZooKeeper集群模式搭建
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第五篇。更多后续文章尽请关注。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用Ansible搭建分...
2019-07-04 18:56:57
839
原创 （四）使用Ansible搭建分布式大数据基础环境-Ansible常用Module介绍
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第四篇。更多后续文章敬请关注。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用Ansible搭建分布...
2019-07-04 18:20:42
630
原创 （三）使用Ansible搭建分布式大数据基础环境-编写第一个playbook
“使用Ansible搭建分布式大数据基础环境”列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第三篇。更多后续文章敬请关注。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用Ansible搭建分布式...
2019-07-04 17:50:50
925
原创 （二）使用Ansible搭建分布式大数据基础环境-Ansible项目创建
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第二篇。更多后续文章尽请关注。（一）使用Ansible搭建分布式大数据基础环境-环境准备（二）使用Ansible搭建分布...
2019-07-04 17:03:07
1315
1
原创 （一）使用Ansible搭建分布式大数据基础环境-环境准备
前言：最近几年工作，一直围绕着大数据平台进行业务开发，主流的Hadoop/Hive/Spark/Storm/Kafka/Flink等基础设施都接触过。但是生产的集群无法如测试集群般进行各种自我学习和测试，所以个人就多次尝试搭建测试集群，从一开始跑cloudera的quickstart-vm到独自在阿里云上用多台VM搭建过分布式环境，但是往往也是随着机器的下线，下次要重写搭建集群就又需要重头来，既费...
2019-07-04 15:54:18
1590
原创 今日头条：任务调度面试题解答
今日头条：任务调度面试题解答题目：产品经理(PM)有很多好的idea，而这些idea需要程序员实现。现在有N个PM，在某个时间会想出一个 idea，每个 idea 有提出时间、所需时间和优先等级。对于一个PM来说，最想实现的idea首先考虑优先等级高的，相同的情况下优先所需时间最小的，还相同的情况下选择最早想出的，没有 PM 会在同一时刻提出两个 idea。同时有M个程序员，每个程序员...
2019-05-30 11:49:39
828
原创 shell命令替换两种形式
一、使用方法1. 使用反单引号形式的后置引用·cmd· script_name=`basename $0` echo "The name of this script is $script_name."2.$(COMMAND)形式已经取代了后置引用"`"output=$(sed -n /"$1"/p $file) # 来自于例子"grp.sh". ...
2019-05-30 11:43:24
390
翻译 Thrift IDL中文说明
Thrift IDL标签（空格分隔）： ThriftThrift interface definition language（IDL）可以用来定义Thrift Types。一个IDL文件可以通过Thrift代码生成器用来产生不同语言的代码从而支持IDL文件中声明的结构体和服务。thrift IDL一. Document每个thrift idl包含0个或者更多地headers，headers后面包含0
2017-05-04 10:39:00
3297
原创 Node.js 简单的MySQL proxy
Node.js 简单实现MySQL Proxy标签（空格分隔）： Node.js Proxy MySQL公司日常开发区分生产环境和测试环境，本地开发只能连接测试环境，无法连接生产环境，但是有些问题只有在生产环境才能重新，故写了一个简单的mysql proxy，在能够访问生产db的机器上安装后，本地通过代理连接远程生产。 功能：代理mysql访问（其实不单单实现mysql代理，可以是代理任何t
2016-05-24 11:32:46
1183
原创 Flume 源码学习（二）Channel组件介绍
Flume 源码学习（二）Channel组件介绍Channel是Flume中第二个组件，也是我们今天学习的对象。
2016-03-10 18:18:50
1385
原创 Flume入门
安装&配置wget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gztar -xzvf apache-flume-1.6.0-bin.tar.gzln -s apache-flume-1.6.0-bin flumecp conf/flume-env.sh.template conf/flume-e
2016-03-08 16:22:27
415
原创 HBase分布式安装指南
HBase 分布式安装指南第零步：准备机器master 启动HMastermasterbackup启动Master Back upregion1: 启动Region Server1region2： 启动Region Server2 Zookeeper可以根据需要安装在任意机器第一步：Hadoop & Zookeeper安装（省略），其中Hbase Master所在机器必须安装有Hado
2016-03-05 16:01:12
517
原创 Sqoop 安装指南
Sqoop 安装指南下载 ，解压，编译wget http://mirrors.cnnic.cn/apache/sqoop/1.4.6/sqoop-1.4.6.tar.gztar -xzvf sqoop-1.4.6.tar.gzant配置修改conf/sqoop-env-templates.sh#Set path to where bin/hadoop is availableexport H
2016-03-04 12:09:18
488
转载 Git之仓库迁移
如果你想从别的 Git 托管服务那里复制一份源代码到新的 Git 托管服务器上的话，可以通过以下步骤来操作。1). 从原地址克隆一份裸版本库，比如原本托管于 GitHub。git clone --bare git://github.com/username/project.git2). 然后到新的 Git 服务器上创建一个新项目，比如 GitCafe。3). 以镜像推
2015-05-31 17:47:13
427
原创 为了OOP而OOP，导致了丑陋的JavaBean
为什么说JavaBean是丑陋的，因为本来一个简简单单的包含几个field的Bean，需要写2*N行getter/setter方法。为什么说是为了OOP而OOP呢？因为我们实际使用使用中，可以说99.99%的JavaBean的所有field都可以是public。就是为了这0.01%，我们需要写那么多getter/setter，而且，很多框架都不识别public的field，只能通过getter/s
2015-05-18 15:45:06
445
原创 VIM使用小记
h-左，j-下，k-上，l-右w/W 移动到下一个单词，b/B移动到上一个单词，3w移动到下3个单词$移动到行尾，^移动到行首a- append到当前字符后，A-append到行尾fx-，在当前行向下搜索字符x，5fx同理向下搜索第五个x，Fx和fx方向相反，向左搜索。tx/Tx和fx/Fx类似，只是会在把cursor放到搜索到的x前面。5G，跳到第五行行首:set nu显示行号，:set non
2013-05-11 11:27:24
524
原创 CSS Position absolute 绝对定位笔记
绝对定位具有以下特点：绝对定位脱离文档流，不占据空间绝对定位相对于最近的已定位祖先节点定位，已定位的祖先意思是说具有position并且值为absolute或者relative的style，如果所有祖先节点都不是已定位节点，则相对于最初始的dom节点，也就是body节点定位。绝对定位节点相对于已定位父节点定位是指使用了top、left、right、bottom来定位。如果不设置TLRB
2013-04-28 10:57:32
859
原创 给jQuery添加utility方法
(function($){ $.browser={}; $.browser.mozilla = /firefox/.test(navigator.userAgent.toLowerCase()); $.browser.webkit = /webkit/.test(navigator.userAgent.toLowerCase()); $.browser.opera = /opera/.te
2013-04-24 22:01:08
650
转载 针对主流浏览器的CSS-HACK写法及IE常用条件注释
对于前端工作者,最痛苦的事莫过于浏览器兼容性的调试,而这最痛苦的事中,最变态的莫过于微软的三个版本IE6.0/IE7.0/IE8.0. 为了让所写代码在各主流浏览器中正常运行，我们不得不为各种浏览器写对应的样式。本文，青鸟将为你总结CSS针对各浏览器的兼容HACK(以IE6/IE7/IE8 /FF为主),以及IE特有的条件注释使用方法.一、通用区分方式：IE6、IE7能识别*，标准浏览器（
2013-03-29 10:09:27
491
转载 修正IE6不支持position:fixed的bug
众所周知IE6不支持position:fixed，这个bug与IE6的双倍margin和不支持PNG透明等bug一样臭名昭著。前些天我做自 己的博客模板的时候，遇到了这个问题。当时就简单的无视了IE6——尽管有几个使用IE6的朋友，一起BS我……但是对于大项目或商业网站，如果有用到这 个属性的时候，是不可能直接无视的。 你是如何让position:fixed在IE6中工作的？
2013-03-29 09:52:01
542
转载 grep、 sed、 find 、xargs、 gawk 输入输出,好用不好学的东西
正则表达式\分别表示单词的开始和结束ex: \ 以T或者t开头，om结尾的单词正则表达式的元字符集：1) ^行首 /^love/ 以love开头的行；2) $行尾 /love$/ 以love结尾的行；3) . /l..e/ 匹配所有这样的行，字母l后面紧跟任意两个字符然后是e的行4) * 重复0次或者任意多次前面字符5) [x-y] 字符范围6) [^x-y
2012-06-01 12:16:37
1082
转载 shell编程if/then备忘
一、基础知识"[" 是专有命令，而不是普通测试符号（ls /usr/bin/[ 有结果），和test命令等价，并且是内建命令。bash 2.02 引入 [[...]]扩展测试命令，但是[[是一个关键字，而不是一个命令，Bash把[[ $a -lt $b ]] 看做一个单独的元素，并且返回一个退出状态码((...))和let ...结构也能够返回退出状态吗，当他们所测试的算术表达式的结构
2012-06-01 11:13:16
2992
转载 bash中profile等配置文件执行顺序
一. 调用顺序 1 RedHat系统 执行顺序为：/etc/profile -> (~/.bash_profile | ~/.bash_login | ~/.profile) -> ~/.bashrc -> /etc/bashrc -> ~/.bash_logout后面的配置文件继承前边的变量和Shell设置，相同的配置会被覆盖；这里要注意，这些配置文件其实都是shell脚本，里
2012-05-21 17:04:18
1069
原创 Javascript权威指南学习笔记（一）
对象到基本类型的转换首先，不管何时，当一个非空对象用在布尔环境中的时if((typeof o == "object") && (o instanceof Date))候，它都转换为false。这对于所有的对象（包括数组和函数）都是成立的，即便对那些用来表示应转换为false的基本类型值的包装对象来说，也是如此。例如，所有如下对象在布尔环境中的时候都转换为true。n
2012-05-18 15:35:34
818
翻译 Python 设置文件编码
1. Python 默认ASCII编码，如果没有指定2.定义源文件编码，magic comment必须添加在文件的第一行或第二行，例如：#coding=or#!/bin/python#-*- coding: -*-or#!/bin/python#vim: set fileencoding=:or#!/bin/python#coding:
2012-03-02 16:10:05
1732
转载 config/autorun.sh: running `/usr/local/bin/libtoolize --automake --copy --force' .ibtoolize: AC_CON
is caused by using CRLFs in Makefile.am. "m4" != "m4" and thus the libtoolize script will produce an error.If you're using git, I strongly advise adding a .gitattributes file with the following:
2011-11-17 15:44:49
1968
转载 pom reference 笔记 三
有两个和build相关的子节点，分别是顶级的和下的子元素<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
2010-10-23 20:58:00
2513
翻译 java nio 缓冲区学习
和其他java类一样，缓冲区类内部也分为成员变量和方法两个组成部分。在这里，成员变量称之为状态变量，方法称为访问方法，每一个访问方法的执行都会改变状态变量的值。状态变量position ：指向缓冲区（底层数组）下一个空闲位置的索引，如缓冲区当前有三个元素，那么position=3，他也同样指明了缓冲区当前可用数据大小limit ：变量表明还有多少数据需要取出(在从缓冲区写入通道时)，或者还有多少空间可以放入数据(在从通道读入缓冲区时)。position 总是小于或者等于 limit。 capacit
2010-10-17 16:29:00
1385
原创 mysql处理Latin 中文繁体字乱码解决方案
问题描述：1. 对于一些中文繁体字符select出来出现乱码，出问题的繁体字如：燈、龍等环境描述：数据库编码：+--------------------------+----------------------------------------+| Variable_name | Value ...
2010-09-10 11:16:00
4828
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人