lucky的专栏

专业狂撸客

storm集群

s201-s203 1安装配置环境变量: export STORM=/home/centos/soft/storm export PATH=$STORM/bin: 2配置文件修改: storm.local.dir: "/home/centos/storm&quot...

2019-03-15 14:07:03

阅读数 18

评论数 0

zookeeper+kafka集群

------------------------------------ zookeper: 59.110.173.251(xianshang ssq) /home/appinstall/zookeeper-3.4.9 47.94.133.25 (xianshang 5M host)/home/s...

2019-03-14 15:01:20

阅读数 20

评论数 2

ELK单机测试--nginx json格式

之前发了一个复杂版本的,今天发一个json格式的 ELK最大的难度就是logstash的启动配置文件 各种格式的不适应,总是conf报错   ELK 5.1.1 单机10.130.24.111 ---------开发内网 nginx 配置 /usr/local/nginx/conf/n...

2019-02-21 18:23:29

阅读数 69

评论数 0

ELK 显示地图

ELK:5.1.1.1版本 --------------- 架构: nginx->logstash->redis->logstash->elasticsearch->kibana ...

2019-02-21 09:59:28

阅读数 49

评论数 0

docker创建jdk镜像

现在有需求要用docker跑java项目,而且有多个项目,所以我的思路是自己搭建一个基于jdk8的基础镜像,后边所有的项目镜像在这个基础上再编译。 将要用到的技术及软件: 编译方式:dockerfile Linux镜像:centos7 jdk:jdk1.8.0_144 这里要构建一个基于cen...

2019-02-20 08:36:22

阅读数 15

评论数 2

百度App网络深度优化系列《一》DNS优化

一、前言 网络优化是客户端几大技术方向中公认的一个深度领域,所以百度App给大家带来网络深度优化系列文章,其中包含系列《一》DNS优化,系列《二》连接优化,系列《三》弱网优化,希望对大家在网络方向的学习和实践有所帮助。 百度起家于搜索,整个公司的网络架构和部署都是基于标准的internet协议...

2019-02-18 09:09:33

阅读数 12

评论数 0

mvn跳过测试

mvn install -Dmaven.test.skip=true

2019-02-15 15:45:55

阅读数 9

评论数 0

Hbase-分布式+高可用

hadoop: master:s200 slave:s201 s202 s203 ---------------------------- zookeeper:  s201  202 203 ---------------------------- hbase master:s200...

2019-02-12 12:24:36

阅读数 39

评论数 1

HA-hadoop自动容灾

           ----------------------------------------------------------------------------------------------------------------------- ----------------...

2019-02-01 09:26:39

阅读数 78

评论数 0

告诉你如何回答"线上CPU100%排查"面试问题

不知道在大家面试中,有没有遇到这个问题: 生产服务器上部署了几个java程序,突然出现了CPU100%的异常告警,你如何定位出问题呢? 这个问题分为两版回答!高调版 对不起,我是做研发的,这个问题在生产上是不可能遇见的!因为研发是不可能直接操作生产服务器,如果贵公司能出现这个问题,应该要反...

2019-01-30 13:50:42

阅读数 71

评论数 0

zookeeper完全分布式集群

    s200与s206为HA  namenode  DZFC s201-203为journal   datanode  zookeeper 三台机子            s201-s203三台机子 创建文件 echo 1> /home/cento...

2019-01-28 16:25:26

阅读数 19

评论数 0

HA-hadoop集群 高可用

基于hadoop完全分布式基础上   1 克隆s200   为s206 配置: ---1 -----2 -----3   [/etc/sysconfig/network-scripts/ifcfg-ethxxxx]         ...         IPADDR=.....

2019-01-28 15:41:10

阅读数 18

评论数 1

Hive 安装 配置 连接mysql hive beeline

hive ------------------     在hadoop处理结构化数据的数据仓库。     不是:    关系数据库             不是OLTP             实时查询和行级更新。 hive特点 ----------     hive存储数据结构(schema...

2019-01-17 16:49:15

阅读数 29

评论数 0

hive创建库Underlying cause: java.sql.SQLException : Access denied for user

grant all privileges on *.* to root@'%' identified by 'passwd';   将数据库赋予权限    

2019-01-17 15:35:28

阅读数 57

评论数 0

hadoop mapreduce数据倾斜

  三个测试文件: 1  2  3  .txt hello tom1   ---tom30   最终生成分区文件: hello分布到part-r-00001上   采用随机分区 结果:hello随机分布 2阶mapreduce   结果: ...

2019-01-16 17:16:58

阅读数 10

评论数 1

hadoop 单机 本地 多输入 mapreduce

码上代码:   建立测试环境: 创建seq 序列化文件: /** * 写操作 */ @Test public void zipGzip() throws Exception { Configuration conf = new Co...

2019-01-16 10:33:33

阅读数 34

评论数 0

hadoop idea连接远程hadoop 压缩解压缩文件

1创建测试文件   home/centos/zip/a.txt 2 代码编写 package com.it18zhang.hdfs.mr.compress; import com.hadoop.compression.lzo.*; import org.apache.hadoop.c...

2019-01-15 17:31:41

阅读数 65

评论数 2

mvn拷贝下载库到指定位置

使用mvn命令下载工件中的所有依赖         进入pom.xml所在目录,运行cmd:         mvn -DoutputDirectory=./lib -DgroupId=com.it18zhang(可换) -DartifactId=HdfsDemo(可换) -Dversion=1....

2019-01-15 16:47:42

阅读数 15

评论数 1

计数器与自定义计数器

https://www.cnblogs.com/edisonchou/p/4297599.html   实例: 链接:https://pan.baidu.com/s/1qeryRGn2oyXeyLSqabKBBA  提取码:5wia  复制这段内容后打开百度网盘手机App,操作更方便哦  ...

2019-01-15 14:59:48

阅读数 29

评论数 0

mapreduce word count 本地机器运行

链接:https://pan.baidu.com/s/12b8Ef7Tem7WsMchCJbWFTw  提取码:ja19  复制这段内容后打开百度网盘手机App,操作更方便哦     坑:org.apache.hadoop.io.nativeio.NativeIO$Windows.creat...

2019-01-14 16:54:39

阅读数 26

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭